Statistica matematică este construită în limbajul teoriei probabilităților: un eșantion este un vector aleator, o statistică este o variabilă aleatoare, proprietățile unui estimator sunt proprietăți ale repartiției lui, iar comportamentul „pentru volume mari” se exprimă prin teoreme limită. Acest curs, singurul de recapitulare, parcurge drumul de la câmpul de probabilitate până la legea numerelor mari și teorema limită centrală: enunțuri precise, exemple lucrate pas cu pas și demonstrații complete, date imediat după enunțuri. Câteva rezultate auxiliare și demonstrații suplimentare sunt adunate în secțiunea finală de complemente, iar pentru rezultatele de teoria măsurii și pentru câteva teoreme adânci, enunțate fără demonstrație, trimitem la un manual.
Obiective.
să lucrăm cu câmpul de probabilitate, probabilitățile condiționate (formula probabilității totale, formula lui Bayes) și independența;
să descriem repartiția unei variabile aleatoare și a unei transformări a ei, monotonă sau nu;
să calculăm medii, varianțe și momente, să folosim inegalitățile lui Markov și Cebîșev și funcția generatoare de momente;
să lucrăm cu vectori aleatori: marginale, independență, covarianță, repartiția sumelor, a maximului și a minimului, formula schimbării de variabilă (a iacobianului);
să cunoaștem tipurile de convergență și lema lui Slutsky și să demonstrăm legea slabă a numerelor mari și teorema limită centrală.
Structura. Câmp de probabilitate; probabilitate condiționată și independență; variabile aleatoare, repartiții uzuale și transformări; medie, varianță, inegalități; funcția generatoare de momente; vectori aleatori și transformările lor; convergența șirurilor de variabile aleatoare; legea numerelor mari și teorema limită centrală; exerciții rezolvate; complemente (rezultate auxiliare și demonstrații suplimentare).
1 Introducere
Cursul de Statistică (semestrul I, anul al III-lea) începe cu două cursuri introductive, acesta și Cursul 2, și are apoi patru părți: simulare și eșantionare (de la Cursul 3 la Cursul 6), estimare punctuală (de la Cursul 7 la Cursul 11), intervale de încredere (Cursul 12 și Cursul 13) și testarea ipotezelor statistice (Cursul 14, eventual Cursul 15 și Cursul 16). Seminarul și laboratorul (în R) au loc săptămânal; modul de evaluare este precizat în fișa disciplinei.
În teoria probabilităților modelul este cunoscut și calculăm probabilitățile unor evenimente; în statistică observăm rezultatul și ne întrebăm ce putem spune despre model (Cursul 2). Recapitulăm aici noțiunile de probabilități pe care le vom folosi (Hogg et al. 2019, cap. 1–2 și 5; Knight 2000, cap. 1–3; Jacod and Protter 2004). Rezultatele sunt însoțite de demonstrații complete, așezate imediat după enunț; cele care cer instrumente suplimentare (măsurabilitatea, lema Borel–Cantelli, descrierile echivalente ale convergenței în repartiție) sunt adunate în Secțiunea 11. Rămân enunțate fără demonstrație, cu trimitere la un manual, rezultatele de teoria măsurii și câteva teoreme adânci (construcția integralei, unicitatea f.g.m. în cazul general, teorema de continuitate a lui Curtiss, legea tare a numerelor mari sub ipoteza minimală, teorema limită centrală fără ipoteza că f.g.m. există); de fiecare dată spunem exact ce este demonstrat și ce este admis. Din analiză folosim liber seriile uzuale, funcția \(\Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}\dd x\) (cu \(\Gamma(\alpha+1)=\alpha\Gamma(\alpha)\), \(\Gamma(n)=(n-1)!\), \(\Gamma(1/2)=\sqrt\pi\)) și formula lui Taylor și admitem teorema lui Fubini, teoremele convergenței monotone și dominate și formula schimbării de variabilă în integrala multiplă (Billingsley 1995, secs. 16–18).
2 Experiment aleator și câmp de probabilitate
Modelul matematic al unui fenomen aleator are trei componente: mulțimea rezultatelor posibile, familia evenimentelor cărora le atribuim probabilități și probabilitatea însăși (Knight 2000, secs. 1.1–1.2; Resnick 1999, cap. 1–2).
2.1 Evenimente și \(\sigma\)-algebre
Un experiment aleator este un experiment al cărui rezultat nu poate fi prezis cu certitudine, dar pentru care mulțimea \(\Omega\) a rezultatelor posibile (spațiul stărilor) este cunoscută: \(\Omega=\{1,\dots,6\}\) pentru un zar, \(\Omega=\N=\{0,1,2,\dots\}\) pentru numărul de accidente dintr-o oră, \(\Omega=[0,1]^2\) pentru un punct ales la întâmplare în pătratul unitate. Un eveniment este o afirmație despre rezultat; îl identificăm cu mulțimea \(A\subseteq\Omega\) a rezultatelor pentru care afirmația este adevărată și spunem că \(A\)se realizează dacă rezultatul observat \(\omega\) aparține lui \(A\). Operațiile logice devin operații cu mulțimi („nu \(A\)” este \(A^c\), „\(A\) sau \(B\)” este \(A\cup B\), „\(A\) și \(B\)” este \(A\cap B\)); \(A\) și \(B\) sunt incompatibile dacă \(A\cap B=\emptyset\). Când \(\Omega\) este nenumărabil nu putem atribui probabilități tuturor submulțimilor lui (Jacod and Protter 2004, cap. 2); ne restrângem la o familie de mulțimi stabilă la operațiile logice, inclusiv pentru șiruri de evenimente.
Definiția 1(\(\sigma\)-algebră)
O familie \(\F\) de submulțimi ale lui \(\Omega\) este o \(\sigma\)-algebră dacă: (i) \(\Omega\in\F\); (ii) \(A\in\F\Rightarrow A^c\in\F\); (iii) \(A_1,A_2,\ldots\in\F\Rightarrow\bigcup_{n\ge1}A_n\in\F\). Perechea \((\Omega,\F)\) se numește spațiu măsurabil, iar elementele lui \(\F\) se numesc evenimente.
Din axiome rezultă că \(\emptyset\in\F\) și că \(\F\) este stabilă la reuniuni finite, la intersecții finite sau numărabile (legile lui De Morgan: \(\bigcap_nA_n=\big(\bigcup_nA_n^c\big)^c\)) și la diferențe. Pentru o familie \(\mathcal{C}\) de submulțimi ale lui \(\Omega\), \(\sigma\)-algebra generată\(\sigma(\mathcal{C})\) este cea mai mică \(\sigma\)-algebră care conține \(\mathcal{C}\) (intersecția tuturor \(\sigma\)-algebrelor care conțin \(\mathcal{C}\)). Pe \(\R\) folosim \(\sigma\)-algebra borelienelor\(\B(\R)=\sigma\big(\{(-\infty,a]:a\in\R\}\big)\), iar pe \(\R^p\), \(\B(\R^p)\), generată de mulțimile \((-\infty,a_1]\times\dots\times(-\infty,a_p]\); ea conține intervalele, punctele, mulțimile numărabile, mulțimile deschise și pe cele închise. O funcție \(g:\R^p\to\R^q\) este boreliană dacă \(g^{-1}(B)\in\B(\R^p)\) pentru orice \(B\in\B(\R^q)\); funcțiile continue sunt boreliene. Aceste afirmații sunt justificate în Secțiunea 11.1.
2.2 Probabilitatea și proprietățile ei
Repetând un experiment de \(n\) ori, independent și în condiții identice, frecvența relativă\(n_A/n\) a unui eveniment \(A\) se stabilizează când \(n\) crește; dacă \(\Omega\) este finit și rezultatele sunt egal probabile, \(\PP(A)=|A|/|\Omega|\) (definiția clasică). Definiția axiomatică (Kolmogorov, 1933) reține doar proprietățile frecvențelor relative: valori în \([0,1]\), \(n_\Omega/n=1\) și aditivitatea pentru evenimente incompatibile; stabilizarea frecvențelor devine atunci o teoremă, legea numerelor mari (Secțiunea 9).
Definiția 2(Probabilitate. Câmp de probabilitate)
Fie \((\Omega,\F)\) un spațiu măsurabil. O funcție \(\PP:\F\to[0,1]\) este o probabilitate dacă (i) \(\PP(\Omega)=1\) și (ii) (\(\sigma\)-aditivitatea) pentru orice șir \((A_n)_{n\ge1}\) de evenimente disjuncte două câte două, \[
\PP\Big(\bigcup_{n\ge1}A_n\Big)=\sum_{n\ge1}\PP(A_n).
\] Tripletul \((\Omega,\F,\PP)\) se numește câmp de probabilitate.
Exemplul 1(Câmpuri de probabilitate)
Modele discrete. Pentru \(\Omega=\{\omega_1,\omega_2,\dots\}\) cel mult numărabil, \(\F=\mathcal{P}(\Omega)\) și numerele \(p_i\ge0\) cu \(\sum_ip_i=1\), \(\PP(A)=\sum_{i:\,\omega_i\in A}p_i\) este o probabilitate. Modelul clasic corespunde lui \(p_i=1/|\Omega|\), iar repartiția Poisson, lui \(p_k=e^{-\lambda}\lambda^k/k!\), \(k\in\N\).
Probabilitatea geometrică. Pentru un punct ales la întâmplare în \(\Omega=[0,1]^2\) luăm \(\F=\B([0,1]^2)\) și \(\PP(A)=\text{aria}(A)\); existența și \(\sigma\)-aditivitatea ariei (măsura Lebesgue) pe borelieni sunt admise (Jacod and Protter 2004, cap. 6; Durrett 2019, sec. 1.1). De exemplu, „punctul se află la distanță cel mult \(1\) de origine” are probabilitatea \(\pi/4\) (un sfert de disc de rază \(1\)).
Toate regulile de calcul rezultă din cele două axiome.
Propoziția 3(Proprietățile probabilității)
Fie \((\Omega,\F,\PP)\) un câmp de probabilitate și \(A,B,A_1,A_2,\ldots\in\F\). Atunci:
\(\PP(\emptyset)=0\) și, pentru \(A_1,\dots,A_m\) disjuncte, \(\PP\big(\bigcup_{k=1}^mA_k\big)=\sum_{k=1}^m\PP(A_k)\);
\(\PP(A^c)=1-\PP(A)\);
(monotonie) dacă \(A\subseteq B\), atunci \(\PP(B\setminus A)=\PP(B)-\PP(A)\) și \(\PP(A)\le\PP(B)\);
(subaditivitate, inegalitatea lui Boole) \(\PP\big(\bigcup_{n\ge1}A_n\big)\le\sum_{n\ge1}\PP(A_n)\) (și pentru reuniuni finite);
(continuitate) dacă \(A_n\nearrow A\) (\(A_n\subseteq A_{n+1}\), \(\bigcup_nA_n=A\)), atunci \(\PP(A_n)\to\PP(A)\); dacă \(A_n\searrow A\) (\(A_n\supseteq A_{n+1}\), \(\bigcap_nA_n=A\)), atunci \(\PP(A_n)\to\PP(A)\).
Demonstrație.Ideea demonstrației. Fiecare regulă se obține scriind evenimentul care ne interesează ca reuniune de evenimente disjuncte și aplicând \(\sigma\)-aditivitatea; ordinea (a)–(f) este cea în care proprietățile se sprijină una pe alta.
Șirul \(A_1=\Omega\), \(A_2=A_3=\dots=\emptyset\) este format din mulțimi disjuncte două câte două (orice intersecție cu \(\emptyset\) este vidă), cu reuniunea \(\Omega\). Din \(\sigma\)-aditivitate, \(\PP(\Omega)=\PP(\Omega)+\sum_{n\ge2}\PP(\emptyset)\), deci \(\sum_{n\ge2}\PP(\emptyset)=0\). Dacă am avea \(\PP(\emptyset)=x>0\), sumele parțiale ale acestei serii, \((N-1)x\), ar tinde la \(\infty\); rămâne \(\PP(\emptyset)=0\). Pentru aditivitatea finită, fie \(A_1,\dots,A_m\) disjuncte; completăm familia cu \(A_{m+1}=A_{m+2}=\dots=\emptyset\). Șirul obținut este format din mulțimi disjuncte, cu aceeași reuniune, deci \[
\PP\Big(\bigcup_{k=1}^mA_k\Big)=\PP\Big(\bigcup_{n\ge1}A_n\Big)=\sum_{k=1}^m\PP(A_k)+\sum_{n>m}\PP(\emptyset)=\sum_{k=1}^m\PP(A_k).
\]
\(A\cap A^c=\emptyset\) și \(A\cup A^c=\Omega\); din aditivitatea finită (a), \(1=\PP(\Omega)=\PP(A)+\PP(A^c)\).
Dacă \(A\subseteq B\), atunci \(B=A\cup(B\setminus A)\), iar \(A\cap(B\setminus A)=\emptyset\). Din (a), \(\PP(B)=\PP(A)+\PP(B\setminus A)\), adică \(\PP(B\setminus A)=\PP(B)-\PP(A)\); cum \(\PP(B\setminus A)\ge0\), rezultă \(\PP(A)\le\PP(B)\).
Mulțimile \(A\) și \(B\setminus(A\cap B)=B\cap A^c\) sunt disjuncte, iar reuniunea lor este \(A\cup B\) (un rezultat din \(A\cup B\) este în \(A\) sau este în \(B\) fără a fi în \(A\)). Din (a), apoi din (c) aplicată incluziunii \(A\cap B\subseteq B\), \[
\PP(A\cup B)=\PP(A)+\PP\big(B\setminus(A\cap B)\big)=\PP(A)+\PP(B)-\PP(A\cap B).
\]
Fie \(B_1=A_1\) și \(B_k=A_k\setminus\bigcup_{j<k}A_j\) pentru \(k\ge2\) (rezultatele care apar în \(A_k\), dar în niciun \(A_j\) anterior). Atunci:
\(B_k\subseteq A_k\), deci \(\PP(B_k)\le\PP(A_k)\), din (c);
evenimentele \(B_k\) sunt disjuncte două câte două: pentru \(j<k\), \(B_j\subseteq A_j\), pe când \(B_k\) nu are niciun element comun cu \(A_j\);
\(\bigcup_kB_k=\bigcup_kA_k\): incluziunea „\(\subseteq\)” rezultă din \(B_k\subseteq A_k\); reciproc, dacă \(\omega\in\bigcup_kA_k\) și \(k\) este cel mai mic indice cu \(\omega\in A_k\), atunci \(\omega\notin A_j\) pentru \(j<k\), adică \(\omega\in B_k\).
Din \(\sigma\)-aditivitate, \(\PP\big(\bigcup_kA_k\big)=\PP\big(\bigcup_kB_k\big)=\sum_k\PP(B_k)\le\sum_k\PP(A_k)\). Pentru o reuniune finită \(A_1\cup\dots\cup A_m\) aplicăm rezultatul șirului completat cu \(A_n=\emptyset\), \(n>m\).
Șiruri crescătoare. Fie \(A_n\nearrow A\) și \(B_1=A_1\), \(B_k=A_k\setminus A_{k-1}\) pentru \(k\ge2\). Evenimentele \(B_k\) sunt disjuncte (pentru \(j<k\), \(B_j\subseteq A_j\subseteq A_{k-1}\), iar \(B_k\cap A_{k-1}=\emptyset\)). Prin inducție, \(\bigcup_{k\le n}B_k=A_n\): pentru \(n=1\) este definiția, iar \(A_{n}=A_{n-1}\cup(A_n\setminus A_{n-1})=\big(\bigcup_{k\le n-1}B_k\big)\cup B_n\), deoarece \(A_{n-1}\subseteq A_n\). Prin urmare \(\bigcup_kB_k=\bigcup_nA_n=A\). Din \(\sigma\)-aditivitate (suma unei serii este limita sumelor parțiale) și din aditivitatea finită (a), \[
\PP(A)=\sum_{k\ge1}\PP(B_k)=\lim_{n\to\infty}\sum_{k=1}^n\PP(B_k)=\lim_{n\to\infty}\PP\Big(\bigcup_{k=1}^nB_k\Big)=\lim_{n\to\infty}\PP(A_n).
\]Șiruri descrescătoare. Dacă \(A_n\searrow A\), atunci \(A_n^c\subseteq A_{n+1}^c\) și, din legile lui De Morgan, \(\bigcup_nA_n^c=\big(\bigcap_nA_n\big)^c=A^c\), adică \(A_n^c\nearrow A^c\). Din prima parte și din (b), \(1-\PP(A_n)=\PP(A_n^c)\to\PP(A^c)=1-\PP(A)\), deci \(\PP(A_n)\to\PP(A)\).
■
Vezi și (Resnick 1999, sec. 2.1; Jacod and Protter 2004, cap. 2). Formula reuniunii se extinde, prin inducție după numărul evenimentelor, la formula lui Poincaré (principiul includerii și excluderii): \(\PP\big(\bigcup_{i=1}^nA_i\big)=\sum_{i}\PP(A_i)-\sum_{i<j}\PP(A_i\cap A_j)+\dots+(-1)^{n+1}\PP(A_1\cap\dots\cap A_n)\).
Demonstrația formulei lui Poincaré.Ideea demonstrației. Inducție după \(n\): reuniunea a \(n+1\) evenimente este reuniunea a două evenimente, \(A_1\cup\dots\cup A_n\) și \(A_{n+1}\), cărora le aplicăm formula reuniunii; intersecția lor este tot o reuniune de \(n\) evenimente.
Scrisă compact, formula afirmă că \[
\PP\Big(\bigcup_{i=1}^nA_i\Big)=\sum_{k=1}^n(-1)^{k+1}\sum_{1\le i_1<\dots<i_k\le n}\PP(A_{i_1}\cap\dots\cap A_{i_k}),
\] adică fiecare subfamilie nevidă de \(k\) evenimente contribuie cu probabilitatea intersecției ei, cu semnul \((-1)^{k+1}\). Pentru \(n=1\) nu este nimic de demonstrat, iar pentru \(n=2\) este formula reuniunii (Propoziția 3(d)). Presupunem formula adevărată pentru orice \(n\) evenimente și fie \(A_1,\dots,A_{n+1}\). Notăm \(B=\bigcup_{i=1}^nA_i\). Din formula reuniunii, \[
\PP\Big(\bigcup_{i=1}^{n+1}A_i\Big)=\PP(B\cup A_{n+1})=\PP(B)+\PP(A_{n+1})-\PP(B\cap A_{n+1}),
\] iar \(B\cap A_{n+1}=\bigcup_{i=1}^n(A_i\cap A_{n+1})\) este tot o reuniune de \(n\) evenimente. Aplicăm ipoteza de inducție lui \(\PP(B)\) și lui \(\PP(B\cap A_{n+1})\); pentru al doilea, intersecția evenimentelor \(A_{i_1}\cap A_{n+1},\dots,A_{i_k}\cap A_{n+1}\) este \(A_{i_1}\cap\dots\cap A_{i_k}\cap A_{n+1}\). Obținem \[
\begin{aligned}
\PP\Big(\bigcup_{i=1}^{n+1}A_i\Big)&=\sum_{k=1}^n(-1)^{k+1}\sum_{i_1<\dots<i_k\le n}\PP(A_{i_1}\cap\dots\cap A_{i_k})+\PP(A_{n+1})\\
&\quad+\sum_{k=1}^n(-1)^{(k+1)+1}\sum_{i_1<\dots<i_k\le n}\PP(A_{i_1}\cap\dots\cap A_{i_k}\cap A_{n+1}).
\end{aligned}
\] Prima sumă conține toate subfamiliile nevide care nu îl conțin pe \(A_{n+1}\), fiecare cu semnul \((-1)^{k+1}\), unde \(k\) este numărul evenimentelor ei. Termenul \(\PP(A_{n+1})\) și ultima sumă conțin toate subfamiliile care îl conțin pe \(A_{n+1}\): o astfel de subfamilie are \(k+1\) evenimente (\(k\ge0\) dintre \(A_1,\dots,A_n\) și \(A_{n+1}\)) și apare cu semnul \((-1)^{(k+1)+1}\), exact cel cerut de formulă pentru \(k+1\) evenimente. Fiecare subfamilie nevidă a lui \(\{A_1,\dots,A_{n+1}\}\) apare deci o singură dată, cu semnul corect: formula are loc pentru \(n+1\) evenimente.■
Un eveniment de probabilitate \(1\) se realizează aproape sigur (a.s.). De exemplu, într-un șir infinit de aruncări ale unei monede echilibrate, evenimentele „primele \(n\) aruncări dau pajură”, de probabilitate \(2^{-n}\), descresc către „nu apare niciodată cap”, care are deci probabilitatea \(0\): a.s. apare cel puțin un cap.
3 Probabilitate condiționată și independență
Informația parțială modifică probabilitățile, iar independența exprimă absența oricărei informații reciproce. Rezultatele acestei secțiuni sunt consecințe directe ale definițiilor și ale \(\sigma\)-aditivității (Jacod and Protter 2004, cap. 3; Knight 2000, sec. 1.3).
3.1 Probabilitatea condiționată. Formula lui Bayes
Aruncăm un zar echilibrat și aflăm că a apărut un număr par. Probabilitatea să fi apărut \(6\) devine \(1/3\): restrângem spațiul stărilor la \(B=\{2,4,6\}\) și numărăm cazurile favorabile din \(B\), adică \(\frac{|A\cap B|}{|B|}=\frac{|A\cap B|/|\Omega|}{|B|/|\Omega|}\). Ultima expresie are sens în orice câmp de probabilitate.
Definiția 4(Probabilitate condiționată)
Dacă \(B\in\F\) și \(\PP(B)>0\), probabilitatea condiționată a evenimentului \(A\) de \(B\) este \(\PP(A\mid B)=\dfrac{\PP(A\cap B)}{\PP(B)}\).
Propoziția 5(Probabilitatea condiționată este o probabilitate)
Dacă \(\PP(B)>0\), funcția \(A\mapsto\PP(A\mid B)\) este o probabilitate pe \((\Omega,\F)\), cu \(\PP(B\mid B)=1\).
Demonstrație. Verificăm cele două axiome din Definiția 2. Valori în \([0,1]\) și axioma (i). Din monotonie (Propoziția 3(c)), aplicată incluziunii \(A\cap B\subseteq B\), \(0\le\PP(A\cap B)\le\PP(B)\), deci, împărțind la \(\PP(B)>0\), \(\PP(A\mid B)\in[0,1]\). Apoi \(\Omega\cap B=B\cap B=B\), deci \(\PP(\Omega\mid B)=\PP(B\mid B)=\PP(B)/\PP(B)=1\). Axioma (ii). Dacă \(A_1,A_2,\dots\) sunt disjuncte două câte două, atunci și \(A_n\cap B\) sunt disjuncte (fiind incluse în \(A_n\)), iar, din distributivitatea intersecției față de reuniune, \(\big(\bigcup_nA_n\big)\cap B=\bigcup_n(A_n\cap B)\). Din \(\sigma\)-aditivitatea lui \(\PP\), \[
\PP\Big(\bigcup_nA_n\ \Big|\ B\Big)=\frac{\PP\big(\bigcup_n(A_n\cap B)\big)}{\PP(B)}=\frac{\sum_n\PP(A_n\cap B)}{\PP(B)}=\sum_n\PP(A_n\mid B).
\]■
Așadar toate proprietățile din Propoziția 3 au loc și pentru \(\PP(\cdot\mid B)\), de exemplu \(\PP(A^c\mid B)=1-\PP(A\mid B)\).
Propoziția 6(Formula înmulțirii)
Dacă \(\PP(A_1\cap\dots\cap A_{n-1})>0\), atunci \[
\PP(A_1\cap\dots\cap A_n)=\PP(A_1)\,\PP(A_2\mid A_1)\,\PP(A_3\mid A_1\cap A_2)\cdots\PP(A_n\mid A_1\cap\dots\cap A_{n-1}).
\]
Demonstrație. Toate condiționările au sens: pentru \(k\le n-1\), \(A_1\cap\dots\cap A_k\supseteq A_1\cap\dots\cap A_{n-1}\), deci, din monotonie, \(\PP(A_1\cap\dots\cap A_k)\ge\PP(A_1\cap\dots\cap A_{n-1})>0\). Demonstrăm formula prin inducție după \(n\). Pentru \(n=2\), relația \(\PP(A_1\cap A_2)=\PP(A_1)\,\PP(A_2\mid A_1)\) este definiția probabilității condiționate, înmulțită cu \(\PP(A_1)\). Presupunem relația adevărată pentru \(n-1\) evenimente. Aplicând cazul \(n=2\) evenimentelor \(A_1\cap\dots\cap A_{n-1}\) și \(A_n\), apoi ipoteza de inducție primului factor, \[
\begin{aligned}
\PP(A_1\cap\dots\cap A_n)&=\PP(A_1\cap\dots\cap A_{n-1})\,\PP(A_n\mid A_1\cap\dots\cap A_{n-1})\\
&=\PP(A_1)\,\PP(A_2\mid A_1)\cdots\PP(A_{n-1}\mid A_1\cap\dots\cap A_{n-2})\,\PP(A_n\mid A_1\cap\dots\cap A_{n-1}).
\end{aligned}
\]■
Formula descrie experimentele în etape: extrăgând fără întoarcere \(3\) bile dintr-o urnă cu \(5\) bile roșii și \(3\) verzi, probabilitatea ca toate să fie roșii este \(\frac58\cdot\frac47\cdot\frac36=\frac5{28}\). O familie cel mult numărabilă de evenimente \(B_1,B_2,\dots\) disjuncte două câte două, cu \(\bigcup_iB_i=\Omega\), se numește sistem complet de evenimente: la fiecare efectuare a experimentului se realizează exact unul dintre ele.
Teorema 7(Formula probabilității totale)
Dacă \((B_i)_i\) este un sistem complet de evenimente cu \(\PP(B_i)>0\), atunci \(\PP(A)=\sum_i\PP(B_i)\,\PP(A\mid B_i)\) pentru orice \(A\in\F\).
Demonstrație. Deoarece \(\bigcup_iB_i=\Omega\), \(A=A\cap\Omega=A\cap\bigcup_iB_i=\bigcup_i(A\cap B_i)\). Evenimentele \(A\cap B_i\) sunt disjuncte două câte două, fiind incluse în evenimentele disjuncte \(B_i\). Din \(\sigma\)-aditivitate (aditivitatea finită, dacă sistemul este finit) și din definiția probabilității condiționate, \(\PP(A\cap B_i)=\PP(B_i)\,\PP(A\mid B_i)\), \[
\PP(A)=\sum_i\PP(A\cap B_i)=\sum_i\PP(B_i)\,\PP(A\mid B_i).
\]■
Teorema 8(Formula lui Bayes)
În ipotezele Teoremei 7, dacă \(\PP(A)>0\), atunci pentru orice \(j\)\[
\PP(B_j\mid A)=\frac{\PP(B_j)\,\PP(A\mid B_j)}{\sum_i\PP(B_i)\,\PP(A\mid B_i)} .
\]
Demonstrație. Din definiția probabilității condiționate, aplicată de două ori (întâi condiționând de \(A\), apoi scriind \(\PP(A\cap B_j)=\PP(B_j)\,\PP(A\mid B_j)\)), \[
\PP(B_j\mid A)=\frac{\PP(A\cap B_j)}{\PP(A)}=\frac{\PP(B_j)\,\PP(A\mid B_j)}{\PP(A)},
\] iar numitorul este \(\PP(A)=\sum_i\PP(B_i)\,\PP(A\mid B_i)\), din formula probabilității totale (Teorema 7).■
Formula lui Bayes „inversează” condiționarea: din probabilitățile a priori\(\PP(B_j)\) ale „cauzelor” și din probabilitățile \(\PP(A\mid B_j)\) obținem probabilitățile a posteriori\(\PP(B_j\mid A)\). În ambele formule, pașii sunt aceiași: alegem sistemul complet (ipotezele între care nu știm care s-a realizat), scriem probabilitățile lor și probabilitățile condiționate ale evenimentului observat, apoi înlocuim.
Exemplul 2(Două extrageri fără întoarcere)
Din urna de mai sus (\(5\) bile roșii și \(3\) verzi) extragem, fără întoarcere, două bile; fie \(R_k\) = „bila cu numărul \(k\) este roșie”, \(k=1,2\).
Formula probabilității totale. Compoziția urnei la a doua extragere depinde de prima bilă, deci condiționăm după sistemul complet \(\{R_1,R_1^c\}\): \(\PP(R_1)=\frac58\), \(\PP(R_1^c)=\frac38\), \(\PP(R_2\mid R_1)=\frac47\) (au rămas \(4\) bile roșii din \(7\)) și \(\PP(R_2\mid R_1^c)=\frac57\). Din Teorema 7, \[
\PP(R_2)=\PP(R_1)\,\PP(R_2\mid R_1)+\PP(R_1^c)\,\PP(R_2\mid R_1^c)=\frac58\cdot\frac47+\frac38\cdot\frac57=\frac{20+15}{56}=\frac58 .
\] A doua bilă este roșie cu aceeași probabilitate ca prima: cât timp nu știm nimic despre prima extragere, fiecare dintre cele \(8\) bile are aceeași șansă de a fi a doua.
Formula lui Bayes. Aflăm că a doua bilă este roșie; cu ce probabilitate a fost roșie și prima? Din Teorema 8, cu numitorul calculat la (a), \[
\PP(R_1\mid R_2)=\frac{\PP(R_1)\,\PP(R_2\mid R_1)}{\PP(R_2)}=\frac{20/56}{35/56}=\frac47 .
\] Informația despre a doua bilă schimbă probabilitatea primei (\(\frac47<\frac58\)), deși a doua extragere nu o „influențează” pe prima: condiționarea exprimă informație, nu cauzalitate.
Exemplul 3(Un test de diagnostic)
O boală are prevalența \(0.001\). Un test are rata de rezultate fals pozitive \(0.05\) și rata de rezultate fals negative \(0.01\)(Knight 2000, Ex. 1.7). O persoană aleasă la întâmplare are testul pozitiv; care este probabilitatea să fie bolnavă? Fie \(D\) = „persoana este bolnavă” și \(T\) = „testul este pozitiv”: \(\PP(D)=0.001\), \(\PP(T\mid D^c)=0.05\) și \(\PP(T\mid D)=1-\PP(T^c\mid D)=0.99\) (Propoziția 5). Cu sistemul complet \(\{D,D^c\}\), formula probabilității totale și formula lui Bayes dau \[
\PP(T)=0.001\cdot0.99+0.999\cdot0.05=0.05094,\qquad \PP(D\mid T)=\frac{0.001\cdot0.99}{0.05094}\approx0.0194 .
\] În detaliu: \(\PP(T)=\PP(D)\,\PP(T\mid D)+\PP(D^c)\,\PP(T\mid D^c)=0.00099+0.04995\), iar numărătorul din formula lui Bayes este primul termen al acestei sume, \(\PP(D)\,\PP(T\mid D)=0.00099\).
Interpretare. Doar circa \(2\%\) dintre persoanele cu test pozitiv sunt bolnave: la \(100\,000\) de persoane, circa \(100\) sunt bolnave, dintre care \(99\) au testul pozitiv, pe când dintre cele \(99\,900\) sănătoase, circa \(4\,995\) au testul pozitiv; printre cele \(5\,094\) teste pozitive, doar \(99\) provin de la bolnavi. Greșeala frecventă este confundarea lui \(\PP(D\mid T)\approx0.02\) cu \(\PP(T\mid D)=0.99\). Probabilitatea a posteriori depinde puternic de prevalență: același calcul, cu prevalența \(0.01\), \(0.1\), respectiv \(0.5\), dă \(\PP(D\mid T)\approx0.167\), \(0.688\), respectiv \(0.952\).
3.2 Independența evenimentelor
Dacă aflarea faptului că \(B\) s-a realizat nu modifică probabilitatea lui \(A\), adică \(\PP(A\mid B)=\PP(A)\), spunem că \(A\) nu depinde de \(B\); înmulțind cu \(\PP(B)\) obținem o relație simetrică, care are sens și pentru \(\PP(B)=0\).
Definiția 9(Evenimente independente)
Evenimentele \(A\) și \(B\) sunt independente dacă \(\PP(A\cap B)=\PP(A)\PP(B)\). Evenimentele \(A_1,\dots,A_n\) sunt independente (în ansamblu) dacă \(\PP(A_{i_1}\cap\dots\cap A_{i_k})=\PP(A_{i_1})\cdots\PP(A_{i_k})\) pentru orice \(2\le k\le n\) și \(i_1<\dots<i_k\). Un șir de evenimente este format din evenimente independente dacă orice subfamilie finită este independentă.
Propoziția 10(Independența și evenimentele contrare)
Dacă \(A\) și \(B\) sunt independente, atunci sunt independente și perechile \((A,B^c)\), \((A^c,B)\), \((A^c,B^c)\).
Demonstrație.Perechea \((A,B^c)\). Din \(A=(A\cap B)\cup(A\cap B^c)\), reuniune disjunctă, și din independența lui \(A\) și \(B\), \[
\PP(A\cap B^c)=\PP(A)-\PP(A\cap B)=\PP(A)-\PP(A)\PP(B)=\PP(A)\big(1-\PP(B)\big)=\PP(A)\,\PP(B^c).
\] Am arătat deci: dacă două evenimente sunt independente, atunci primul este independent de contrarul celui de-al doilea.Perechea \((A^c,B)\). Independența fiind o relație simetrică, \(B\) și \(A\) sunt independente; din afirmația precedentă, aplicată perechii \((B,A)\), \(B\) și \(A^c\) sunt independente. Perechea \((A^c,B^c)\). Aplicăm aceeași afirmație perechii independente \((A^c,B)\): \(A^c\) este independent de \(B^c\).■
Independența două câte două nu implică independența în ansamblu: pentru două aruncări ale unei monede echilibrate, evenimentele \(A\) = „cap la prima aruncare”, \(B\) = „cap la a doua” și \(C\) = „același rezultat de două ori” sunt independente două câte două, dar \(\PP(A\cap B\cap C)=\frac14\ne\frac18\). Independența este mai ales o ipoteză de modelare: repetările fără influență reciprocă ale unui experiment se modelează prin evenimente independente. Dacă o monedă cu \(\PP(C)=p\) este aruncată de \(n\) ori independent, un șir anume cu \(k\) capete are probabilitatea \(p^k(1-p)^{n-k}\), iar numărul acestor șiruri este \(\binom nk\); deci probabilitatea de a obține exact \(k\) capete este \[
\binom nk p^k(1-p)^{n-k},\qquad k=0,1,\dots,n
\tag{1}\] (repartiția binomială).
Exemplul 4(Independența: verificare și utilizare)
Verificarea definiției. Aruncăm un zar echilibrat și fie \(A=\{2,4,6\}\) („număr par”), \(B=\{1,2,3,4\}\) și \(C=\{1,2,3\}\). Atunci \(\PP(A\cap B)=\PP(\{2,4\})=\frac13=\frac12\cdot\frac23=\PP(A)\PP(B)\), deci \(A\) și \(B\) sunt independente: printre cele patru rezultate din \(B\), jumătate sunt pare, ca în tot spațiul stărilor. În schimb, \(\PP(A\cap C)=\PP(\{2\})=\frac16\ne\frac12\cdot\frac12=\PP(A)\PP(C)\), deci \(A\) și \(C\)nu sunt independente: \(\PP(A\mid C)=\frac13<\frac12\). Independența nu „se vede” din descrierea evenimentelor; ea se verifică prin calcul.
Utilizarea independenței. Trei senzori detectează un incident, independent unul de altul, cu probabilitățile \(0.5\), \(0.6\) și \(0.8\); fie \(A_i\) = „senzorul \(i\) detectează incidentul”. Evenimentele rămân independente în ansamblu dacă pe unele dintre ele le înlocuim cu contrarele lor (Propoziția 10 se extinde la mai multe evenimente, înlocuind pe rând câte unul), deci probabilitatea ca incidentul să fie detectat de cel puțin un senzor este \[
\PP(A_1\cup A_2\cup A_3)=1-\PP(A_1^c\cap A_2^c\cap A_3^c)=1-0.5\cdot0.4\cdot0.2=0.96 .
\] Evenimentul \(E\) = „exact un senzor detectează incidentul” este reuniunea a trei evenimente incompatibile, după senzorul care detectează: \[
\PP(E)=0.5\cdot0.4\cdot0.2+0.5\cdot0.6\cdot0.2+0.5\cdot0.4\cdot0.8=0.04+0.06+0.16=0.26 ,
\] iar, dacă știm că exact un senzor a detectat incidentul, acesta este al treilea cu probabilitatea \(\PP(A_3\mid E)=\frac{\PP(A_1^c\cap A_2^c\cap A_3)}{\PP(E)}=\frac{0.16}{0.26}=\frac{8}{13}\approx0.615\) (Definiția 4). Regula practică: „cel puțin unul” se calculează prin evenimentul contrar, iar „exact unul”, prin descompunere în cazuri incompatibile.
4 Variabile aleatoare și repartiția lor
În aproape orice experiment ne interesează o mărime numerică asociată rezultatului: numărul de capete, suma a două zaruri, timpul de funcționare al unui bec, media unui eșantion. O astfel de mărime este o funcție \(X:\Omega\to\R\); pentru a vorbi despre probabilitatea ca \(X\) să ia valori într-o mulțime boreliană \(B\), preimaginea \(\{X\in B\}=X^{-1}(B)=\{\omega\in\Omega:X(\omega)\in B\}\) trebuie să fie un eveniment, adică \(X\) trebuie să fie o funcție măsurabilă(Knight 2000, sec. 1.4; Resnick 1999, cap. 3; Billingsley 1995, sec. 13 și 20).
Definiția 11(Variabilă aleatoare)
O funcție \(X:\Omega\to\R\) este o variabilă aleatoare (v.a.) dacă este măsurabilă în raport cu \(\F\) și \(\B(\R)\), adică \[
X^{-1}(B)=\{\omega\in\Omega:X(\omega)\in B\}\in\F\qquad\text{pentru orice }B\in\B(\R).
\] Mai general, o funcție \(X:\Omega\to E\) cu valori într-un spațiu măsurabil \((E,\mathcal{E})\) este măsurabilă (un element aleator al lui \(E\)) dacă \(X^{-1}(B)\in\F\) pentru orice \(B\in\mathcal{E}\).
Pentru a verifica măsurabilitatea este suficient să considerăm semidreptele: \(X\) este v.a. dacă și numai dacă \(\{X\le x\}\in\F\) pentru orice \(x\in\R\) (semidreptele \((-\infty,x]\) generează \(\B(\R)\)); criteriul spune exact că probabilitățile \(\PP(X\le x)\) au sens. Sumele, produsele, limitele punctuale și compunerile cu funcții boreliene ale unor v.a. sunt v.a.; demonstrațiile, care folosesc doar acest criteriu, sunt date în Secțiunea 11.1 (vezi și (Billingsley 1995, sec. 13)). De exemplu, indicatorul \(\Ind_A\) al unui eveniment \(A\in\F\) (\(1\) pe \(A\), \(0\) în rest) este o v.a.
Definiția 12(Repartiția unei variabile aleatoare)
Repartiția v.a. \(X\) este \(\PP_X(B)=\PP(X\in B)\), \(B\in\B(\R)\). Scriem \(X\eqd Y\) dacă \(X\) și \(Y\) au aceeași repartiție.
\(\PP_X\) este o probabilitate pe \(\big(\R,\B(\R)\big)\) (Secțiunea 11.1), pe care se pun toate întrebările despre \(X\) (singură).
4.1 Funcția de repartiție
O probabilitate pe \(\B(\R)\) este determinată de valorile ei pe semidrepte, adică de o funcție reală de variabilă reală.
Definiția 13(Funcția de repartiție)
Funcția de repartiție a v.a. \(X\) este \(F_X:\R\to[0,1]\), \(F_X(x)=\PP(X\le x)\).
Propoziția 14(Proprietățile funcției de repartiție)
Fie \(F=F_X\). (a) \(F\) este crescătoare și \(\PP(a<X\le b)=F(b)-F(a)\) pentru \(a<b\). (b) \(\lim_{x\to-\infty}F(x)=0\), \(\lim_{x\to+\infty}F(x)=1\). (c) \(F\) este continuă la dreapta. (d) În orice punct \(x_0\), \(F(x_0-)=\PP(X<x_0)\) și \(\PP(X=x_0)=F(x_0)-F(x_0-)\).
Demonstrație.Ideea demonstrației. Fiecare afirmație despre \(F\) este o afirmație despre probabilitățile evenimentelor \(\{X\le x\}\); folosim monotonia și continuitatea probabilității (Propoziția 3(c), (f)). O funcție monotonă are limite laterale în orice punct și limite la \(\pm\infty\), deci este suficient să calculăm aceste limite de-a lungul unui șir convenabil.
Pentru \(a<b\), \(\{X\le a\}\subseteq\{X\le b\}\), deci \(F(a)\le F(b)\) (monotonia probabilității); diferența celor două evenimente este \(\{X\le b\}\setminus\{X\le a\}=\{a<X\le b\}\), deci, din Propoziția 3(c), \(\PP(a<X\le b)=F(b)-F(a)\).
\(F\) fiind crescătoare și mărginită, limitele la \(\pm\infty\) există și coincid cu limitele șirurilor \(F(-k)\), respectiv \(F(k)\), \(k\to\infty\). Evenimentele \(\{X\le-k\}\) descresc, iar intersecția lor este vidă (niciun număr real \(X(\omega)\) nu este \(\le-k\) pentru orice \(k\)): \(\{X\le-k\}\searrow\emptyset\), deci \(F(-k)\to\PP(\emptyset)=0\). Evenimentele \(\{X\le k\}\) cresc, iar reuniunea lor este \(\Omega\) (orice \(X(\omega)\) este \(\le k\) pentru \(k\) suficient de mare): \(\{X\le k\}\nearrow\Omega\), deci \(F(k)\to\PP(\Omega)=1\).
Limita la dreapta \(F(x_0+)\) există și este egală cu \(\lim_kF(x_0+\frac1k)\). Evenimentele \(\{X\le x_0+\frac1k\}\) descresc, iar intersecția lor este \(\{X\le x_0\}\) (un număr este \(\le x_0+\frac1k\) pentru orice \(k\) dacă și numai dacă este \(\le x_0\)). Din continuitatea probabilității, \(F(x_0+\frac1k)\to\PP(X\le x_0)=F(x_0)\), adică \(F(x_0+)=F(x_0)\).
Limita la stânga \(F(x_0-)\) există și este egală cu \(\lim_kF(x_0-\frac1k)\). Evenimentele \(\{X\le x_0-\frac1k\}\) cresc, iar reuniunea lor este \(\{X<x_0\}\) (un număr este \(<x_0\) dacă și numai dacă este \(\le x_0-\frac1k\) pentru un \(k\)). Deci \(F(x_0-)=\lim_kF(x_0-\frac1k)=\PP(X<x_0)\). În fine, \(\{X\le x_0\}=\{X<x_0\}\cup\{X=x_0\}\), reuniune disjunctă, deci \(\PP(X=x_0)=\PP(X\le x_0)-\PP(X<x_0)=F(x_0)-F(x_0-)\).
■
Așadar \(F_X\) este continuă în \(x_0\) dacă și numai dacă \(\PP(X=x_0)=0\) (din (c), \(F_X\) este continuă în \(x_0\) exact când \(F_X(x_0-)=F_X(x_0)\)), iar salturile lui \(F_X\) sunt atomii repartiției, adică punctele \(x\) cu \(\PP(X=x)>0\); mulțimea lor este cel mult numărabilă, deci punctele de continuitate ale lui \(F_X\) sunt dense în \(\R\) (observația de mai jos). Reciproc, orice funcție cu proprietățile (a)–(c) este funcția de repartiție a unei v.a. (Cursul 3), iar \(F_X\) determină complet repartiția \(\PP_X\); aceste două fapte sunt admise aici (Jacod and Protter 2004, cap. 7; Billingsley 1995, sec. 14).
Observație (Mulțimea atomilor este cel mult numărabilă)
Pentru \(k\ge1\), fie \(D_k=\{x:\ \PP(X=x)>\frac1k\}\). Dacă \(x_1,\dots,x_m\) sunt puncte distincte din \(D_k\), evenimentele \(\{X=x_j\}\) sunt disjuncte, deci \(\frac mk<\sum_{j=1}^m\PP(X=x_j)=\PP\big(X\in\{x_1,\dots,x_m\}\big)\le1\), adică \(m<k\): mulțimea \(D_k\) are cel mult \(k-1\) elemente. Mulțimea atomilor, \(\bigcup_{k\ge1}D_k\), este o reuniune numărabilă de mulțimi finite, deci este cel mult numărabilă. Consecință: orice interval \((a,b)\), \(a<b\), fiind nenumărabil, conține puncte de continuitate ale lui \(F_X\); punctele de continuitate sunt dense în \(\R\). Vom folosi acest fapt la convergența în repartiție (Secțiunea 8).
Exemplul 5(O funcție de repartiție în scară)
Aruncăm de trei ori o monedă echilibrată și fie \(X\) numărul de capete. Dintre cele \(8\) rezultate egal probabile, \(\binom3k\) au exact \(k\) capete, deci \(X\) ia valorile \(0,1,2,3\) cu probabilitățile \(\frac18,\frac38,\frac38,\frac18\). Funcția de repartiție adună probabilitățile valorilor cel mult egale cu \(x\): \[
F_X(x)=\begin{cases}0,&x<0,\\ \frac18,&0\le x<1,\\ \frac12,&1\le x<2,\\ \frac78,&2\le x<3,\\ 1,&x\ge3.\end{cases}
\] Citim pe ea toate proprietățile din Propoziția 14: \(F_X\) este crescătoare, cu limitele \(0\) și \(1\); este constantă între valorile lui \(X\) și are salturi exact în ele, de mărime \(F_X(k)-F_X(k-)=\PP(X=k)\) (în \(1\): \(\frac12-\frac18=\frac38\)); este continuă la dreapta (\(F_X(1)=\frac12\), nu \(\frac18\)). Probabilitățile intervalelor depind de tipul capetelor: \[
\PP(1<X\le2)=F_X(2)-F_X(1)=\frac38,\qquad \PP(1\le X\le2)=F_X(2)-F_X(1-)=\frac78-\frac18=\frac34 .
\] Greșeala frecventă este folosirea formulei \(F_X(b)-F_X(a)\) pentru \(\PP(a\le X\le b)\) atunci când \(a\) este un atom: ea „pierde” probabilitatea \(\PP(X=a)\). În fine, \(\PP(X>1.5)=1-F_X(1.5)=\frac12\).
4.2 Variabile aleatoare discrete și continue
Două clase de repartiții acoperă aproape toate modelele din curs.
Definiția 15(Variabile aleatoare discrete și continue)
\(X\) este discretă dacă ia un număr cel mult numărabil de valori \(x_1,x_2,\dots\); funcția de masă este \(p_X(x)=\PP(X=x)\), iar repartiția se scrie \[
X\sim\begin{pmatrix} x_1 & x_2 & \cdots\\ p_1 & p_2 & \cdots\end{pmatrix},\qquad p_i=\PP(X=x_i)\ge0,\quad \sum_ip_i=1 .
\]
\(X\) este (absolut) continuă dacă există \(f_X:\R\to[0,\infty)\), numită densitate, cu \(F_X(x)=\int_{-\infty}^xf_X(t)\dd t\) pentru orice \(x\).
Pentru \(X\) discretă, \(\{X\in B\}\) este reuniunea disjunctă, cel mult numărabilă, a evenimentelor \(\{X=x_i\}\) cu \(x_i\in B\), deci, din \(\sigma\)-aditivitate, \(\PP(X\in B)=\sum_{i:\,x_i\in B}p_i\); în particular \(F_X(x)=\sum_{i:\,x_i\le x}p_i\) este în scară, cu salturi \(p_i\) în punctele \(x_i\).
Pentru \(X\) continuă, proprietățile următoare rezultă din Propoziția 14 și din proprietățile integralei:
\(F_X\) este continuă, ca integrală cu limita superioară variabilă a unei funcții integrabile (\(F_X(x)-F_X(x-h)=\int_{x-h}^xf_X\to0\) când \(h\searrow0\)); deci, din Propoziția 14(d), \(\PP(X=x)=F_X(x)-F_X(x-)=0\) pentru orice \(x\) și nu contează dacă inegalitățile sunt stricte: \(\PP(a\le X\le b)=\PP(a<X<b)=\int_a^bf_X\);
\(F_X'(x)=f_X(x)\) în punctele \(x\) de continuitate ale lui \(f_X\) (teorema fundamentală a calculului integral): pentru \(h\ne0\), \[
\Big|\frac{F_X(x+h)-F_X(x)}{h}-f_X(x)\Big|=\Big|\frac1h\int_x^{x+h}\big(f_X(t)-f_X(x)\big)\dd t\Big|\le\sup_{|t-x|\le|h|}|f_X(t)-f_X(x)|\xrightarrow[h\to0]{}0 ;
\]
în consecință, \(\PP(x<X\le x+h)=F_X(x+h)-F_X(x)\approx f_X(x)h\) pentru \(h\) mic: densitatea este „probabilitate pe unitatea de lungime” (și poate depăși \(1\));
\(\PP(X\in B)=\int_Bf_X(t)\dd t\) pentru orice borelian \(B\): pentru intervale este relația de mai sus, iar trecerea la borelieni oarecare o admitem (Billingsley 1995, sec. 20).
Există și v.a. care nu sunt nici discrete, nici continue (Exemplul 13).
Exemplul 6(O densitate polinomială)
Determinăm \(k\) astfel încât \(f(x)=k\,x(1-x)^2\) pe \([0,1]\) (și \(0\) în rest) să fie o densitate, apoi funcția de repartiție și \(\PP(\frac14<X\le\frac12)\).
Constanta. Pe \([0,1]\), \(x(1-x)^2\ge0\), deci trebuie \(k\ge0\); din condiția \(\int_{\R}f=1\), cu \(x(1-x)^2=x-2x^2+x^3\), \[
1=k\int_0^1\big(x-2x^2+x^3\big)\dd x=k\Big(\frac12-\frac23+\frac14\Big)=\frac{k}{12},\qquad\text{deci }k=12 .
\]Funcția de repartiție. Pentru \(x\in[0,1]\), \(F(x)=\int_0^x12(t-2t^2+t^3)\dd t=6x^2-8x^3+3x^4\) (verificare: \(F(1)=6-8+3=1\)), iar \(F=0\) la stânga lui \(0\) și \(F=1\) la dreapta lui \(1\).
Probabilitatea.\(F(\frac12)=\frac64-1+\frac3{16}=\frac{11}{16}\) și \(F(\frac14)=\frac6{16}-\frac18+\frac3{256}=\frac{67}{256}\), deci, din Propoziția 14(a), \[
\PP\big(\tfrac14<X\le\tfrac12\big)=F\big(\tfrac12\big)-F\big(\tfrac14\big)=\frac{176-67}{256}=\frac{109}{256}\approx0.4258 .
\] Repartiția este \(\BetaD(2,3)\) din Tabelul 2 (cu \(B(2,3)=\frac{1!\,2!}{4!}=\frac1{12}\)), deci aceeași valoare se obține în R cu pbeta(1/2, 2, 3) - pbeta(1/4, 2, 3). Densitatea nu este o probabilitate: de exemplu, \(f(\frac13)=12\cdot\frac13\cdot\frac49=\frac{16}9>1\).
4.3 Repartiții uzuale și funcțiile R asociate
Repartițiile din Tabelul 1 și Tabelul 2 sunt modele naturale ale unor experimente tipice: \(\Bin(n,p)\) numără succesele în \(n\) încercări independente (relația (1)); \(\Geom(p)\) numără încercările până la primul succes; \(\HGeom(N,K,n)\) numără bilele marcate printre \(n\) bile extrase fără întoarcere dintr-o urnă cu \(N\) bile, dintre care \(K\) marcate; \(\Pois(\lambda)\) modelează evenimente rare (Exemplul 48); \(\Exp(\lambda)\) modelează durate de viață „fără uzură”: din \(\PP(X>x)=e^{-\lambda x}\) rezultă lipsa de memorie, \(\PP(X>s+t\mid X>s)=e^{-\lambda(s+t)}/e^{-\lambda s}=\PP(X>t)\). Mediile și varianțele din tabele sunt calculate în Exemplul 16 și, pentru repartițiile binomială negativă și hipergeometrică, în Secțiunea 11.3.
Tabelul 1: Repartiții discrete uzuale. Pentru \(\Bern(p)\) se folosește binom cu size = 1. În R, geom și nbinom numără eșecurile dinaintea succesului (al \(r\)-lea): dgeom(k - 1, p)\(=\PP(X=k)\) pentru \(X\sim\Geom(p)\); pentru hipergeometrică, dhyper(k, K, N - K, n).
Repartiție
Funcția de masă \(\PP(X=k)\)
\(\E[X]\)
\(\Var(X)\)
R
\(\Bern(p)\)
\(p^k(1-p)^{1-k}\), \(k\in\{0,1\}\)
\(p\)
\(p(1-p)\)
binom
\(\Bin(n,p)\)
\(\binom nk p^k(1-p)^{n-k}\), \(0\le k\le n\)
\(np\)
\(np(1-p)\)
binom
\(\Geom(p)\)
\((1-p)^{k-1}p\), \(k\ge1\)
\(1/p\)
\((1-p)/p^2\)
geom
\(\NBin(r,p)\)
\(\binom{k-1}{r-1}p^r(1-p)^{k-r}\), \(k\ge r\)
\(r/p\)
\(r(1-p)/p^2\)
nbinom
\(\Pois(\lambda)\)
\(e^{-\lambda}\lambda^k/k!\), \(k\ge0\)
\(\lambda\)
\(\lambda\)
pois
\(\HGeom(N,K,n)\)
\(\binom Kk\binom{N-K}{n-k}\big/\binom Nn\)
\(nK/N\)
\(\dfrac{nK(N-K)(N-n)}{N^2(N-1)}\)
hyper
Tabelul 2: Repartiții continue uzuale; \(B(a,b)=\Gamma(a)\Gamma(b)/\Gamma(a+b)\). Repartiția Cauchy nu are medie (Exemplul 14). Argumentele R: rate\(=\lambda\) pentru exp și gamma (plus shape\(=\alpha\)), sd\(=\sigma\) pentru norm. Repartițiile \(\chisq{\nu}\), Student și Fisher vor fi introduse în Cursul 5.
Pentru fiecare repartiție, R oferă patru funcții, cu prefixele d (masă sau densitate), p (funcția de repartiție), q (cuantila: cel mai mic \(x\) cu \(F(x)\ge p\); funcția cuantilă va fi studiată în Cursul 3) și r (generare de valori aleatoare):
c(dbinom(3, 10, 0.3), # P(X = 3), X ~ Bin(10, 0.3)pbinom(3, 10, 0.3), # P(X <= 3)qbinom(0.5, 10, 0.3), # cel mai mic x cu F(x) >= 0.5pnorm(115, 100, 15) -pnorm(85, 100, 15)) # P(85 < Y <= 115)
#> [1] 0.2668 0.6496 3.0000 0.6827
4.4 Transformări ale unei variabile aleatoare
Deseori ne interesează o funcție \(Y=g(X)\) a unei v.a. cunoscute (schimbarea unității de măsură, pătratul unei erori, logaritmul unei durate) (Casella and Berger 2002, sec. 2.1; Hogg et al. 2019, sec. 1.7; Knight 2000, sec. 1.5). Dacă \(g\) este boreliană, \(Y\) este o v.a. și \[
\PP(Y\in B)=\PP\big(X\in g^{-1}(B)\big),\qquad B\in\B(\R).
\tag{2}\] Dacă \(X\) este discretă, cu valorile \(x_i\), atunci \(Y\) este discretă și, din \(\sigma\)-aditivitate, \[
\PP(Y=y)=\sum_{i:\ g(x_i)=y}\PP(X=x_i);
\tag{3}\] de exemplu, dacă \(X\) este uniformă pe \(\{-2,-1,0,1,2\}\) și \(Y=X^2\), atunci \(\PP(Y=0)=\frac15\) și \(\PP(Y=1)=\PP(Y=4)=\frac25\).
Metoda funcției de repartiție. Pentru o v.a. continuă \(X\) luăm \(B=(-\infty,y]\) în (2): pentru orice funcție boreliană \(g\) și orice \(y\in\R\), \[
F_Y(y)=\PP\big(g(X)\le y\big)=\PP\big(X\in A_y\big)=\int_{A_y}f_X(x)\dd x,\qquad A_y:=\{x\in\R:\ g(x)\le y\}.
\tag{4}\] Descriem deci mulțimea \(A_y\) (rezolvăm inecuația \(g(x)\le y\); de obicei \(A_y\) este o reuniune de intervale), calculăm probabilitatea ei cu ajutorul lui \(F_X\) sau al lui \(f_X\) și, dacă funcția \(F_Y\) obținută este continuă și derivabilă pe porțiuni, densitatea lui \(Y\) este derivata ei.
Lema 16(De la funcția de repartiție la densitate)
Fie \(Y\) o v.a. cu funcția de repartiție \(F\). Presupunem că \(F\) este continuă pe \(\R\) și că există puncte \(a_1<a_2<\dots<a_r\) astfel încât \(F\) este derivabilă, cu derivata continuă, pe fiecare dintre intervalele deschise \((-\infty,a_1)\), \((a_1,a_2)\), \(\dots\), \((a_r,\infty)\). Atunci \(Y\) este o v.a. continuă, iar funcția \(f\) definită prin \(f(y)=F'(y)\) pentru \(y\notin\{a_1,\dots,a_r\}\) și \(f(a_i)=0\) este o densitate a lui \(Y\).
Demonstrație.Ideea demonstrației. Pe fiecare interval pe care \(F\) are derivata continuă aplicăm formula Leibniz–Newton; continuitatea lui \(F\) în punctele \(a_i\) permite „lipirea” intervalelor.
Pasul 1 (un interval). Funcția \(F\) este crescătoare, deci \(f=F'\ge0\). Fie \((a,b)\) unul dintre intervalele din enunț (eventual \(a=-\infty\) sau \(b=+\infty\)) și \(a<s<t<b\). Pe \([s,t]\) funcția \(F\) are derivata continuă \(f\), deci, din formula Leibniz–Newton, \(F(t)-F(s)=\int_s^tf(u)\dd u\). Facem \(s\searrow a\): membrul stâng tinde la \(F(t)-F(a)\), din continuitatea lui \(F\) în \(a\) (dacă \(a=-\infty\), tinde la \(F(t)\), deoarece \(F(s)\to0\), Propoziția 14(b)), iar membrul drept crește către \(\int_a^tf(u)\dd u\), integrandul fiind nenegativ. Deci, cu convenția \(F(-\infty)=0\), \[
F(t)-F(a)=\int_a^tf(u)\dd u\qquad\text{pentru orice }t\in(a,b).
\] Făcând, la fel, \(t\nearrow b\), obținem \(F(b)-F(a)=\int_a^bf(u)\dd u\) (cu \(F(+\infty)=1\), din aceeași propoziție).
Pasul 2 (lipirea). Fie \(y\in\R\), \(a_0=-\infty\) și \(j\in\{0,1,\dots,r\}\) cel mai mare indice cu \(a_j\le y\). Scriem \(F(y)\) ca sumă telescopică și aplicăm Pasul 1 fiecărui termen (dacă \(y=a_j\), ultimul termen este nul): \[
\begin{aligned}
F(y)&=\sum_{i=1}^{j}\big(F(a_i)-F(a_{i-1})\big)+\big(F(y)-F(a_j)\big)\\
&=\sum_{i=1}^{j}\int_{a_{i-1}}^{a_i}f(u)\dd u+\int_{a_j}^yf(u)\dd u=\int_{-\infty}^yf(u)\dd u
\end{aligned}
\] (valorile lui \(f\) în punctele \(a_i\) nu influențează integralele). Din Definiția 15(b), \(Y\) este continuă, cu densitatea \(f\).■
Continuitatea lui \(F\) este esențială: dacă \(F\) are un salt, derivata ei (acolo unde există) are integrala strict mai mică decât \(1\) și nu este o densitate (Exemplul 13). Pentru funcții de repartiție mai generale decât cele din lemă, vezi (Billingsley 1995, sec. 31). Când \(g\) este strict monotonă, metoda conduce la o formulă generală.
Teorema 17(Densitatea unei transformări monotone)
Fie \(X\) o v.a. cu densitatea \(f_X\), nulă în afara unui interval deschis \(I\), și \(g:I\to\R\) strict monotonă și derivabilă, cu \(g'\ne0\) pe \(I\). Atunci \(Y=g(X)\) are densitatea \[
f_Y(y)=f_X\big(g^{-1}(y)\big)\,\Big|\frac{\dd}{\dd y}g^{-1}(y)\Big|,\qquad y\in g(I),
\tag{5}\] și \(f_Y(y)=0\) pentru \(y\notin g(I)\).
Demonstrație.Ideea demonstrației. Scriem \(F_Y(y)=\PP(g(X)\le y)\) ca probabilitate a unui eveniment despre \(X\) (monotonia lui \(g\) permite „inversarea” inegalității), deci ca integrală a lui \(f_X\), și facem schimbarea de variabilă \(x=g^{-1}(t)\), care o aduce la forma \(\int_{-\infty}^y(\dots)\dd t\); funcția de sub integrală este atunci, prin definiție, densitatea lui \(Y\).
Pasul 1 (inversa lui \(g\)). Fie \(I=(\alpha,\beta)\), cu \(-\infty\le\alpha<\beta\le\infty\). Funcția \(g\) este continuă (fiind derivabilă) și strict monotonă pe intervalul deschis \(I\), deci \(J=g(I)\) este un interval (proprietatea valorilor intermediare), deschis (o funcție strict monotonă pe un interval deschis nu își atinge marginile): \(J=(c,d)\), cu \(-\infty\le c<d\le\infty\). Inversa \(h=g^{-1}:J\to I\) este strict monotonă, de același sens ca \(g\), și, din teorema de derivare a funcției inverse (aici se folosește \(g'\ne0\)), derivabilă, cu \(h'(t)=1/g'\big(h(t)\big)\). Derivata unei funcții monotone are semn constant, deci \(g'>0\) pe \(I\) (și atunci \(h'>0\) pe \(J\)) sau \(g'<0\) pe \(I\) (și atunci \(h'<0\) pe \(J\)).
Pasul 2 (în afara lui \(J\)). Cum \(f_X\) este nulă în afara lui \(I\), \(\PP(X\in I)=\int_If_X=1\), deci \(\PP(Y\in J)=1\). Pentru \(y\le c\) rezultă \(F_Y(y)\le\PP(Y\notin J)=0\), iar pentru \(y\ge d\), \(F_Y(y)\ge\PP(Y\in J)=1\).
Pasul 3 (\(g\) crescătoare). Fie \(y\in J\). Pentru \(x\in I\), \(g(x)\le y\iff x\le h(y)\), deci \(F_Y(y)=\PP\big(\alpha<X\le h(y)\big)=\int_\alpha^{h(y)}f_X(x)\dd x\). Facem schimbarea de variabilă \(x=h(t)\), \(\dd x=h'(t)\dd t\): \(h\) fiind o bijecție crescătoare de la \(J\) la \(I\), când \(t\) parcurge \((c,y]\), \(x=h(t)\) parcurge \((\alpha,h(y)]\). Deci \[
F_Y(y)=\int_{\alpha}^{h(y)}f_X(x)\dd x=\int_c^yf_X\big(h(t)\big)\,h'(t)\dd t .
\]
Pasul 4 (\(g\) descrescătoare). Acum, pentru \(x\in I\), \(g(x)\le y\iff x\ge h(y)\), deci \(F_Y(y)=\PP\big(h(y)\le X<\beta\big)=\int_{h(y)}^{\beta}f_X(x)\dd x\). Funcția \(h\) este o bijecție descrescătoare de la \(J\) la \(I\): când \(t\) crește de la \(c\) la \(y\), \(x=h(t)\) descrește de la \(\beta\) la \(h(y)\). Aceeași schimbare de variabilă dă \(\int_\beta^{h(y)}f_X(x)\dd x=\int_c^yf_X(h(t))\,h'(t)\dd t\), deci, inversând capetele primei integrale, \[
F_Y(y)=\int_{h(y)}^{\beta}f_X(x)\dd x=-\int_c^yf_X\big(h(t)\big)\,h'(t)\dd t=\int_c^yf_X\big(h(t)\big)\big(-h'(t)\big)\dd t ,
\] iar \(-h'=|h'|\), deoarece \(h'<0\).
Concluzie. În ambele cazuri, \(F_Y(y)=\int_c^yf_X(h(t))\,|h'(t)|\dd t\) pentru \(y\in J\). Împreună cu Pasul 2 (pentru \(y\ge d\), integrala pe tot intervalul \(J\) este, prin aceeași schimbare de variabilă, \(\int_If_X=1\)), obținem pentru orice \(y\in\R\)\[
F_Y(y)=\int_{-\infty}^yf_X\big(h(t)\big)\,|h'(t)|\,\Ind_J(t)\dd t ,
\] adică, din Definiția 15(b), \(Y\) are densitatea (5). (Schimbarea de variabilă este cea din analiză dacă \(h'\) este continuă, cum se întâmplă în toate aplicațiile noastre; în general, ea se justifică în cadrul integralei Lebesgue.)■
Propoziția 18(Transformări afine. Standardizarea)
Dacă \(X\) are densitatea \(f_X\) și \(b\ne0\), atunci \(Y=a+bX\) are densitatea \(f_Y(y)=\frac1{|b|}f_X\big(\frac{y-a}{b}\big)\).
Dacă \(X\sim\Norm(\mu,\sigma^2)\) și \(b\ne0\), atunci \(a+bX\sim\Norm(a+b\mu,\,b^2\sigma^2)\). În particular, \(Z=(X-\mu)/\sigma\sim\Norm(0,1)\) și \(F_X(x)=\Phi\big((x-\mu)/\sigma\big)\), unde \(\Phi\) este funcția de repartiție a lui \(\Norm(0,1)\), cu densitatea \(\phi(z)=\frac1{\sqrt{2\pi}}e^{-z^2/2}\).
Demonstrație.Ideea demonstrației. O funcție afină neconstantă este strict monotonă, deci (a) este un caz particular al Teoremei 17; (b) se obține înlocuind densitatea normală în (a) și regrupând exponentul.
Aplicăm Teorema 17 cu \(I=\R\) și \(g(x)=a+bx\): \(g\) este strict monotonă (crescătoare dacă \(b>0\), descrescătoare dacă \(b<0\)), derivabilă, cu \(g'=b\ne0\), iar \(g(\R)=\R\). Rezolvând \(y=a+bx\), \(g^{-1}(y)=\frac{y-a}{b}\), cu derivata \(\frac1b\), deci \(f_Y(y)=f_X\big(\frac{y-a}{b}\big)\cdot\frac1{|b|}\) pentru orice \(y\in\R\).
Din (a), cu \(f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(x-\mu)^2/(2\sigma^2)}\), \[
f_Y(y)=\frac{1}{|b|\sqrt{2\pi\sigma^2}}\exp\Big(-\frac{\big(\frac{y-a}{b}-\mu\big)^2}{2\sigma^2}\Big)=\frac{1}{\sqrt{2\pi b^2\sigma^2}}\exp\Big(-\frac{\big(y-(a+b\mu)\big)^2}{2b^2\sigma^2}\Big),
\] unde am folosit \(|b|\sqrt{2\pi\sigma^2}=\sqrt{2\pi b^2\sigma^2}\) și \(\frac{y-a}{b}-\mu=\frac{y-(a+b\mu)}{b}\), deci \(\big(\frac{y-a}{b}-\mu\big)^2=\frac{(y-(a+b\mu))^2}{b^2}\). Aceasta este densitatea \(\Norm(a+b\mu,b^2\sigma^2)\). Pentru standardizare luăm \(a=-\mu/\sigma\) și \(b=1/\sigma\): \(Z=a+bX=(X-\mu)/\sigma\) are repartiția \(\Norm\big(-\frac\mu\sigma+\frac\mu\sigma,\ \frac{\sigma^2}{\sigma^2}\big)=\Norm(0,1)\). În fine, cum \(\sigma>0\), \(X\le x\iff Z\le\frac{x-\mu}{\sigma}\), deci \(F_X(x)=\PP\big(Z\le\frac{x-\mu}\sigma\big)=\Phi\big(\frac{x-\mu}\sigma\big)\).
■
De exemplu, pentru \(Y\sim\Norm(100,15^2)\), \(\PP(85<Y\le115)=\Phi(1)-\Phi(-1)=2\Phi(1)-1\approx0.6827\) (din paritatea lui \(\phi\), \(\Phi(-z)=1-\Phi(z)\)). Un alt exemplu: dacă \(U\sim\Unif(0,1)\) și \(Y=-\frac1\lambda\ln U\), atunci \(g(u)=-\ln(u)/\lambda\) este strict descrescătoare pe \(I=(0,1)\), cu \(g(I)=(0,\infty)\), \(g^{-1}(y)=e^{-\lambda y}\) și \(|(g^{-1})'(y)|=\lambda e^{-\lambda y}\); deci \(f_Y(y)=\lambda e^{-\lambda y}\), \(y>0\), adică \(Y\sim\Exp(\lambda)\). Această observație stă la baza simulării repartiției exponențiale (Cursul 4).
Teorema 17 se aplică întotdeauna în aceiași patru pași: (1) intervalul \(I\) pe care se află valorile lui \(X\) și monotonia lui \(g\) pe \(I\); (2) imaginea \(g(I)\), adică mulțimea valorilor lui \(Y\); (3) inversa \(g^{-1}\) și derivata ei; (4) formula (5). Îi urmărim pe trei cazuri.
Exemplul 7(Trei transformări monotone)
O funcție crescătoare. Fie \(X\sim\Unif(0,1)\) și \(Y=X^2\). Pe \(I=(0,1)\), \(g(x)=x^2\) este strict crescătoare, cu \(g'(x)=2x\ne0\) și \(g(I)=(0,1)\); inversa este \(g^{-1}(y)=\sqrt y\), cu derivata \(\frac{1}{2\sqrt y}\). Cum \(f_X=1\) pe \(I\), \[
f_Y(y)=1\cdot\frac{1}{2\sqrt y}=\frac{1}{2\sqrt y},\qquad 0<y<1,
\] și \(f_Y=0\) în rest. Verificare cu metoda funcției de repartiție: pentru \(y\in(0,1)\), \(F_Y(y)=\PP(X^2\le y)=\PP(X\le\sqrt y)=\sqrt y\), cu derivata \(\frac1{2\sqrt y}\). Deși \(X\) este uniformă, \(X^2\) nu este: \(\PP(Y\le\frac14)=\frac12\), deoarece ridicarea la pătrat „împinge” valorile din \((0,1)\) către \(0\).
Tangenta unui unghi uniform. O sursă aflată la distanța \(1\) de un perete emite o rază într-o direcție aleasă la întâmplare: unghiul față de perpendiculara pe perete este \(X\sim\Unif(-\frac\pi2,\frac\pi2)\), iar raza atinge peretele în punctul \(Y=\tan X\). Pe \(I=(-\frac\pi2,\frac\pi2)\), \(g(x)=\tan x\) este strict crescătoare, cu \(g'(x)=\frac{1}{\cos^2x}\ne0\) și \(g(I)=\R\); inversa este \(g^{-1}(y)=\arctan y\), cu derivata \(\frac{1}{1+y^2}\). Cum \(f_X=\frac1\pi\) pe \(I\), \[
f_Y(y)=\frac1\pi\cdot\frac{1}{1+y^2},\qquad y\in\R ,
\] adică \(Y\) are repartiția \(\Cauchy(0,1)\) din Tabelul 2. Probabilitățile se pot calcula și fără densitatea lui \(Y\): \(\PP(Y\le1)=\PP(X\le\frac\pi4)=\frac34\). O v.a. mărginită a fost transformată într-una cu „cozi” foarte grele: unghiurile apropiate de \(\pm\frac\pi2\) trimit raza foarte departe.
O funcție descrescătoare. Fie \(X\sim\Exp(\lambda)\) și \(Y=e^{-X}\). Pe \(I=(0,\infty)\), \(g(x)=e^{-x}\) este strict descrescătoare, cu \(g(I)=(0,1)\), \(g^{-1}(y)=-\ln y\) și \((g^{-1})'(y)=-\frac1y\). Formula cere modulul derivatei: \[
f_Y(y)=\lambda e^{-\lambda(-\ln y)}\cdot\Big|-\frac1y\Big|=\lambda\,y^{\lambda}\cdot\frac1y=\lambda\,y^{\lambda-1},\qquad 0<y<1 .
\] Verificare: \(\int_0^1\lambda y^{\lambda-1}\dd y=1\) și \(\PP(Y\le\frac12)=\big(\frac12\big)^\lambda=e^{-\lambda\ln2}=\PP(X\ge\ln2)\). Este densitatea \(\BetaD(\lambda,1)\); pentru \(\lambda=1\) obținem \(Y\sim\Unif(0,1)\), adică transformarea inversă celei din observația de mai sus (\(U\mapsto-\ln U\)). Fără modul am fi obținut o funcție negativă, care nu poate fi o densitate.
Atenție!
Trei greșeli frecvente: (1) omiterea factorului \(\big|\frac{\dd}{\dd y}g^{-1}(y)\big|\) (densitatea lui \(g(X)\)nu este \(f_X\big(g^{-1}(y)\big)\); fără acest factor, funcția obținută nu are, în general, integrala \(1\)); (2) omiterea mulțimii \(g(I)\) pe care formula este valabilă; (3) aplicarea formulei unei funcții care nu este monotonă pe tot intervalul valorilor lui \(X\) (comparați cazul (a) de mai sus cu Exemplul 11).
Când \(g\) nu este monotonă, metoda funcției de repartiție (4) rămâne valabilă; mulțimea \(A_y\) nu mai este însă un singur interval.
Exemplul 8(O mulțime care nu este interval: aria unui dreptunghi)
Un dreptunghi de perimetru \(4\) are o latură de lungime \(X\sim\Unif(0,2)\), deci cealaltă latură are lungimea \(2-X\). Determinăm repartiția ariei \(Y=X(2-X)\). Funcția \(g(x)=x(2-x)=1-(x-1)^2\) crește pe \((0,1)\) și descrește pe \((1,2)\), cu valori în \((0,1]\); nu este monotonă.
Pasul 1 (mulțimea \(A_y\)). Pentru \(y\in(0,1)\), \[
g(x)\le y\iff(x-1)^2\ge1-y\iff x\le1-\sqrt{1-y}\ \ \text{sau}\ \ x\ge1+\sqrt{1-y},
\] deci \(A_y\cap(0,2)=\big(0,\,1-\sqrt{1-y}\,\big]\cup\big[\,1+\sqrt{1-y},\,2\big)\), o reuniune de două intervale: ariile mici corespund dreptunghiurilor „alungite”, cu \(X\) aproape de \(0\) sau de \(2\).
Pasul 2 (probabilitatea). Cum \(f_X=\frac12\) pe \((0,2)\), iar cele două intervale au aceeași lungime, \(1-\sqrt{1-y}\), \[
\begin{aligned}
F_Y(y)&=\PP\big(X\le1-\sqrt{1-y}\big)+\PP\big(X\ge1+\sqrt{1-y}\big)\\
&=2\cdot\frac{1-\sqrt{1-y}}{2}=1-\sqrt{1-y},\qquad 0<y<1 .
\end{aligned}
\] Apoi \(F_Y(y)=0\) pentru \(y\le0\) (deoarece \(Y>0\) a.s.) și \(F_Y(y)=1\) pentru \(y\ge1\) (deoarece \(Y\le1\)).
Pasul 3 (densitatea).\(F_Y\) este continuă pe \(\R\) (în \(0\): \(1-\sqrt1=0\); în \(1\): \(1-\sqrt0=1\)) și are derivata continuă pe \((-\infty,0)\), \((0,1)\) și \((1,\infty)\); din Lema 16, \(Y\) are densitatea \[
f_Y(y)=\frac{\dd}{\dd y}\big(1-\sqrt{1-y}\big)=\frac{1}{2\sqrt{1-y}},\qquad 0<y<1,
\] și \(f_Y=0\) în rest. De exemplu, \(\PP(Y\le\frac34)=1-\sqrt{1/4}=\frac12\): jumătate dintre dreptunghiuri au aria cel mult \(\frac34\), deși aria maximă este \(1\). Densitatea este nemărginită lângă \(1\), dar integrabilă: \(\int_0^1\frac{\dd y}{2\sqrt{1-y}}=\big[-\sqrt{1-y}\big]_0^1=1\).
Transformări monotone pe porțiuni. Când \(g\) nu este injectivă, o valoare \(y\) poate avea mai multe preimagini (ca pentru \(g(x)=x^2\)). Dacă domeniul lui \(g\) se împarte în intervale pe care \(g\) este strict monotonă (ramurile lui \(g\)), fiecare ramură contribuie la densitatea lui \(Y\) cu un termen de forma (5), iar contribuțiile se adună.
Teorema 19(Densitatea unei transformări neinjective)
Fie \(X\) o v.a. cu densitatea \(f_X\) și \(I_1,\dots,I_m\) intervale deschise, disjuncte două câte două, cu \(\PP(X\in I_1\cup\dots\cup I_m)=1\). Fie \(g:I_1\cup\dots\cup I_m\to\R\) o funcție a cărei restricție la fiecare interval \(I_k\) este strict monotonă și derivabilă, cu \(g'\ne0\) pe \(I_k\). Notăm \(J_k=g(I_k)\) și \(h_k:J_k\to I_k\) inversa restricției lui \(g\) la \(I_k\). Atunci \(Y=g(X)\) are densitatea \[
f_Y(y)=\sum_{k=1}^mf_X\big(h_k(y)\big)\,\big|h_k'(y)\big|\,\Ind_{J_k}(y),\qquad y\in\R
\tag{6}\] (termenul de rang \(k\) este, prin convenție, \(0\) pentru \(y\notin J_k\)). Echivalent, \[
f_Y(y)=\sum_{x:\ g(x)=y}\frac{f_X(x)}{|g'(x)|},\qquad y\in\R,
\tag{7}\] suma fiind luată după toate soluțiile \(x\in I_1\cup\dots\cup I_m\) ale ecuației \(g(x)=y\) (cel mult una în fiecare interval \(I_k\)); numărul termenilor nenuli depinde de \(y\). Ambele formule rămân adevărate pentru o familie numărabilă de intervale \((I_k)_{k\ge1}\) cu aceleași proprietăți, sumele devenind serii.
Demonstrație.Ideea demonstrației. Descompunem evenimentul \(\{Y\le y\}\) după intervalul \(I_k\) în care se află \(X\). Pe fiecare interval \(g\) este strict monotonă, deci probabilitatea corespunzătoare se calculează exact ca în demonstrația Teoremei 17; adunând cele \(m\) integrale, obținem \(F_Y\) ca integrală a funcției din enunț.
Pasul 1 (ramurile). Fie \(k\in\{1,\dots,m\}\). Restricția lui \(g\) la \(I_k\) verifică ipotezele impuse lui \(g\) în Teorema 17 (singurele folosite în Pasul 1 al demonstrației acesteia), deci, din acel pas: \(J_k=g(I_k)\) este un interval deschis; inversa \(h_k:J_k\to I_k\) este strict monotonă, de același sens ca \(g\) pe \(I_k\), și derivabilă, cu \(h_k'(t)=1/g'\big(h_k(t)\big)\); derivata \(h_k'\) are semn constant pe \(J_k\). Notăm \[
\varphi_k(t)=f_X\big(h_k(t)\big)\,|h_k'(t)|\,\Ind_{J_k}(t),\qquad t\in\R .
\]
Pasul 2 (descompunerea). Evenimentele \(\{X\in I_k\}\), \(k=1,\dots,m\), sunt disjuncte două câte două, iar reuniunea lor are probabilitatea \(1\). Pe evenimentul de probabilitate \(0\) pe care \(X\) nu aparține niciunui interval \(I_k\) definim \(Y\) oricum (de exemplu \(Y=0\)); aceasta nu îi schimbă repartiția. Pentru orice \(y\in\R\), din aditivitatea finită a probabilității, \[
F_Y(y)=\PP(Y\le y)=\sum_{k=1}^m\PP\big(X\in I_k,\ g(X)\le y\big).
\]
Pasul 3 (o ramură). Arătăm că, pentru orice \(k\) și orice \(y\in\R\), \[
\PP\big(X\in I_k,\ g(X)\le y\big)=\int_{-\infty}^y\varphi_k(t)\dd t .
\] Fixăm \(k\) și scriem, pentru simplitate, \(I_k=(\alpha,\beta)\), \(J_k=(c,d)\) și \(h=h_k\). Distingem patru cazuri.
Dacă \(y\le c\): pentru \(x\in I_k\) avem \(g(x)\in J_k\), deci \(g(x)>c\ge y\); evenimentul din membrul stâng este imposibil, iar integrala din membrul drept este nulă, deoarece \(\varphi_k=0\) pe \((-\infty,c]\).
Dacă \(y\in(c,d)\) și \(g\) este crescătoare pe \(I_k\): pentru \(x\in I_k\), \(g(x)\le y\iff x\le h(y)\), deci evenimentul este \(\{\alpha<X\le h(y)\}\), de probabilitate \(\int_\alpha^{h(y)}f_X(x)\dd x\). Schimbarea de variabilă \(x=h(t)\), \(\dd x=h'(t)\dd t\) (când \(t\) parcurge \((c,y]\), \(x=h(t)\) parcurge \((\alpha,h(y)]\)), exact ca în Pasul 3 al demonstrației Teoremei 17, dă \[
\int_\alpha^{h(y)}f_X(x)\dd x=\int_c^yf_X\big(h(t)\big)\,h'(t)\dd t=\int_{-\infty}^y\varphi_k(t)\dd t ,
\] deoarece \(h'=|h'|\).
Dacă \(y\in(c,d)\) și \(g\) este descrescătoare pe \(I_k\): pentru \(x\in I_k\), \(g(x)\le y\iff x\ge h(y)\), deci evenimentul este \(\{h(y)\le X<\beta\}\), de probabilitate \(\int_{h(y)}^\beta f_X(x)\dd x\). Acum \(h\) descrește: când \(t\) crește de la \(c\) la \(y\), \(x=h(t)\) descrește de la \(\beta\) la \(h(y)\). Aceeași schimbare de variabilă, ca în Pasul 4 al demonstrației citate, dă \[
\int_{h(y)}^\beta f_X(x)\dd x=-\int_c^yf_X\big(h(t)\big)\,h'(t)\dd t=\int_{-\infty}^y\varphi_k(t)\dd t ,
\] deoarece \(-h'=|h'|\).
Dacă \(y\ge d\): pentru \(x\in I_k\) avem \(g(x)<d\le y\), deci evenimentul este \(\{X\in I_k\}\), de probabilitate \(\int_\alpha^\beta f_X(x)\dd x\); aceeași schimbare de variabilă, pe tot intervalul \(J_k\), dă \(\int_\alpha^\beta f_X(x)\dd x=\int_c^df_X(h(t))\,|h'(t)|\dd t=\int_{-\infty}^y\varphi_k(t)\dd t\).
Singura deosebire față de Teorema 17 este că acum \(\int_{\R}\varphi_k(t)\dd t=\PP(X\in I_k)\) poate fi strict mai mică decât \(1\).
Pasul 4 (adunăm ramurile). Din Pașii 2 și 3 și din liniaritatea integralei (suma este finită), \[
F_Y(y)=\sum_{k=1}^m\int_{-\infty}^y\varphi_k(t)\dd t=\int_{-\infty}^y\Big(\sum_{k=1}^m\varphi_k(t)\Big)\dd t\qquad\text{pentru orice }y\in\R .
\] Funcția nenegativă \(\sum_k\varphi_k\) este exact membrul drept al relației (6); din Definiția 15(b), ea este o densitate a lui \(Y\).
Pasul 5 (forma echivalentă). Fie \(y\in\R\). Ecuația \(g(x)=y\) are soluție în \(I_k\) dacă și numai dacă \(y\in J_k=g(I_k)\), iar atunci soluția este unică (\(g\) este injectivă pe \(I_k\)): \(x_k=h_k(y)\), cu \(|h_k'(y)|=1/|g'(x_k)|\) (Pasul 1). Termenul de rang \(k\) din (6) este deci \(f_X(x_k)/|g'(x_k)|\) dacă ecuația are soluția \(x_k\) în \(I_k\) și \(0\) în caz contrar, ceea ce dă (7). Numărul termenilor sumei este numărul intervalelor \(J_k\) care îl conțin pe \(y\), deci depinde de \(y\).
Pasul 6 (o infinitate numărabilă de ramuri). Dacă familia \((I_k)_{k\ge1}\) este numărabilă, Pașii 1, 3 și 5 rămân neschimbați, iar în Pasul 2 folosim \(\sigma\)-aditivitatea în locul aditivității finite: \(F_Y(y)=\sum_{k\ge1}\int_{-\infty}^y\varphi_k(t)\dd t\). Funcțiile \(\varphi_k\) fiind nenegative, seria se poate integra termen cu termen, \[
\sum_{k\ge1}\int_{-\infty}^y\varphi_k(t)\dd t=\int_{-\infty}^y\Big(\sum_{k\ge1}\varphi_k(t)\Big)\dd t .
\] Aceasta este teorema convergenței monotone (sumele parțiale \(\sum_{k\le n}\varphi_k\) cresc către \(\sum_{k\ge1}\varphi_k\)), un rezultat de teoria integralei pe care îl admitem (Billingsley 1995, sec. 16). Deci \(f_Y=\sum_{k\ge1}\varphi_k\) este o densitate a lui \(Y\); cum \(\int_{\R}f_Y=1\), seria are suma finită în afara unei mulțimi de măsură Lebesgue nulă.■
În aplicații, punctele în care \(g'\) se anulează sau în care \(g\) nu este derivabilă devin capete ale intervalelor \(I_k\) (ele formează o mulțime de probabilitate nulă), iar termenii se adună ținând seama de imaginile \(J_k\), care pot fi diferite de la o ramură la alta. Cel mai important caz este pătratul unei v.a.: \(g(x)=x^2\), cu ramurile \(I_1=(-\infty,0)\) și \(I_2=(0,\infty)\) (punctul \(0\), în care \(g'\) se anulează, este eliminat, iar \(\PP(X=0)=0\)), \(J_1=J_2=(0,\infty)\), \(h_1(y)=-\sqrt y\), \(h_2(y)=\sqrt y\) și \(|h_1'(y)|=|h_2'(y)|=\frac1{2\sqrt y}\); formula pentru \(F_Y\) rezultă din \(\{X^2\le y\}=\{-\sqrt y\le X\le\sqrt y\}\).
Propoziția 20(Pătratul unei variabile continue)
Dacă \(X\) are densitatea \(f_X\), atunci \(Y=X^2\) are \(F_Y(y)=F_X(\sqrt y)-F_X(-\sqrt y)\) și densitatea \(f_Y(y)=\dfrac{f_X(\sqrt y)+f_X(-\sqrt y)}{2\sqrt y}\) pentru \(y>0\) (\(f_Y=0\) pe \((-\infty,0]\)).
Demonstrație.Ideea demonstrației.\(g(x)=x^2\) nu este monotonă pe \(\R\), dar evenimentul \(\{X^2\le y\}\) este un interval pentru \(X\); scriem probabilitatea lui ca integrală a lui \(f_X\) și o aducem, prin schimbări de variabilă pe cele două ramuri de monotonie, la forma \(\int_0^y(\dots)\dd t\).
Cazul \(y\le0\). Cum \(X^2\ge0\), \(\{X^2\le y\}\subseteq\{X=0\}\), iar \(\PP(X=0)=0\) (\(X\) este continuă); deci \(F_Y(y)=0\).
Cazul \(y>0\).\(\{X^2\le y\}=\{-\sqrt y\le X\le\sqrt y\}\), deci, \(X\) fiind continuă, \(F_Y(y)=F_X(\sqrt y)-F_X(-\sqrt y)=\int_{-\sqrt y}^{\sqrt y}f_X(x)\dd x\). Împărțim integrala în \(0\). Pe \([-\sqrt y,0]\) facem schimbarea de variabilă \(x=-u\), \(\dd x=-\dd u\) (capetele \(x=-\sqrt y\) și \(x=0\) devin \(u=\sqrt y\) și \(u=0\)): \[
\int_{-\sqrt y}^0f_X(x)\dd x=\int_{\sqrt y}^0f_X(-u)\,(-\dd u)=\int_0^{\sqrt y}f_X(-u)\dd u .
\] Apoi, în integrala pe \([0,\sqrt y]\), facem schimbarea \(x=\sqrt t\), \(\dd x=\frac{\dd t}{2\sqrt t}\) (capetele \(x=0\) și \(x=\sqrt y\) devin \(t=0\) și \(t=y\)): \[
F_Y(y)=\int_0^{\sqrt y}\big(f_X(x)+f_X(-x)\big)\dd x=\int_0^y\frac{f_X(\sqrt t)+f_X(-\sqrt t)}{2\sqrt t}\dd t .
\] Împreună cu primul caz, \(F_Y(y)=\int_{-\infty}^yf_Y(t)\dd t\) pentru orice \(y\), cu \(f_Y\) din enunț; deci \(f_Y\) este densitatea lui \(Y\) (Definiția 15(b)).■
Exemplul 9(Pătratul unei variabile normale standard)
Fie \(Z\sim\Norm(0,1)\) și \(Y=Z^2\). Cu \(\phi(\pm\sqrt y)=\frac{1}{\sqrt{2\pi}}e^{-y/2}\), Propoziția 20 dă \[
f_Y(y)=\frac{2}{2\sqrt y}\cdot\frac{e^{-y/2}}{\sqrt{2\pi}}=\frac{1}{\sqrt{2\pi}}\,y^{-1/2}e^{-y/2},\qquad y>0 .
\] Densitatea \(\GammaD(\frac12,\frac12)\) din Tabelul 2 este \(\frac{(1/2)^{1/2}}{\Gamma(1/2)}y^{-1/2}e^{-y/2}\), iar cu \(\Gamma(1/2)=\sqrt\pi\) constanta ei este \(\frac1{\sqrt{2\pi}}\), deci cele două expresii coincid: \(Z^2\sim\GammaD\big(\frac12,\frac12\big)\), repartiția \(\chi^2\) cu un grad de libertate (Cursul 5).
Probabilitățile legate de \(Z^2\) se calculează direct cu \(\Phi\), din prima formulă a Propoziției 20: \(F_Y(y)=\Phi(\sqrt y)-\Phi(-\sqrt y)=2\Phi(\sqrt y)-1\) pentru \(y>0\). De exemplu, \(\PP(Z^2\le1)=2\Phi(1)-1\approx0.6827\), iar \(\PP(Z^2>3.84)=\PP(|Z|>1.96)\approx0.05\): pragul \(3.84=1.96^2\) al repartiției \(\chi^2\) cu un grad de libertate este pătratul pragului \(1.96\) al repartiției normale.
Exemplul 10(Modulul. Repartiția seminormală)
Fie \(X\) o v.a. cu densitatea \(f_X\) și \(Y=|X|\). Funcția \(g(x)=|x|\) este strict descrescătoare pe \(I_1=(-\infty,0)\), unde \(g(x)=-x\), și strict crescătoare pe \(I_2=(0,\infty)\), unde \(g(x)=x\), cu \(g'=\mp1\ne0\), iar \(\PP(X\in I_1\cup I_2)=1-\PP(X=0)=1\). Imaginile sunt \(J_1=J_2=(0,\infty)\), iar inversele sunt \(h_1(y)=-y\) și \(h_2(y)=y\), cu \(|h_1'|=|h_2'|=1\). Din Teorema 19, \[
f_{|X|}(y)=f_X(-y)+f_X(y)\quad\text{pentru }y>0,\qquad f_{|X|}(y)=0\quad\text{pentru }y\le0 .
\] Același rezultat se obține cu metoda funcției de repartiție: pentru \(y>0\), \(F_{|X|}(y)=\PP(-y\le X\le y)=F_X(y)-F_X(-y)\), iar derivând, \(f_X(y)+f_X(-y)\). Dacă \(f_X\) este pară, atunci \(f_{|X|}=2f_X\) pe \((0,\infty)\). În particular, pentru \(X\sim\Norm(0,\sigma^2)\) (o eroare de măsurare din care reținem numai mărimea, nu și semnul), \[
f_{|X|}(y)=\frac{2}{\sigma\sqrt{2\pi}}\,e^{-y^2/(2\sigma^2)}\quad(y>0),\qquad F_{|X|}(y)=\Phi\Big(\frac y\sigma\Big)-\Phi\Big(-\frac y\sigma\Big)=2\Phi\Big(\frac y\sigma\Big)-1 ,
\]repartiția seminormală. De exemplu, \(\PP(|X|\le\sigma)=2\Phi(1)-1\approx0.6827\) și \(\PP(|X|>2\sigma)=2\big(1-\Phi(2)\big)\approx0.0455\).
Exemplul 11(Ramuri cu imagini diferite)
Fie \(X\sim\Unif(-1,3)\) și \(Y=X^2\); densitatea lui \(X\) este \(f_X=\frac14\) pe \((-1,3)\). Pe \(I_1=(-1,0)\), \(g(x)=x^2\) este descrescătoare, cu imaginea \(J_1=(0,1)\) și inversa \(h_1(y)=-\sqrt y\); pe \(I_2=(0,3)\) este crescătoare, cu imaginea \(J_2=(0,9)\) și inversa \(h_2(y)=\sqrt y\); în ambele cazuri \(|h_k'(y)|=\frac{1}{2\sqrt y}\). Imaginile sunt diferite: un punct \(y\in(0,1)\) are două preimagini în \((-1,3)\), anume \(\pm\sqrt y\), pe când un punct \(y\in(1,9)\) are una singură, \(\sqrt y\) (deoarece \(-\sqrt y<-1\)). Din (6), \[
f_Y(y)=\frac14\cdot\frac{1}{2\sqrt y}\,\Ind_{(0,1)}(y)+\frac14\cdot\frac{1}{2\sqrt y}\,\Ind_{(0,9)}(y)=\begin{cases}\dfrac{1}{4\sqrt y},&0<y<1,\\[6pt] \dfrac{1}{8\sqrt y},&1<y<9,\\[6pt] 0,&\text{în rest}\end{cases}
\] (valoarea în \(y=1\) nu contează). Verificare: \(\int_0^1\frac{\dd y}{4\sqrt y}+\int_1^9\frac{\dd y}{8\sqrt y}=\frac12+\frac12=1\). Densitatea are un salt în \(y=1\), acolo unde ramura \(I_1\) „se termină” (Figura 1). Greșeala tipică este aplicarea formulei cu doi termeni pe tot intervalul \((0,9)\): funcția obținută, \(\frac{1}{4\sqrt y}\) pe \((0,9)\), ar avea integrala \(\frac32\).
Verificare cu metoda funcției de repartiție. Pentru \(0<y\le1\), \(\{X^2\le y\}=\{-\sqrt y\le X\le\sqrt y\}\), un interval de lungime \(2\sqrt y\) inclus în \((-1,3)\), deci \(F_Y(y)=\frac{2\sqrt y}{4}=\frac12\sqrt y\). Pentru \(1<y<9\), capătul \(-\sqrt y\) iese din \((-1,3)\) și \(\{X^2\le y\}=\{-1<X\le\sqrt y\}\), de lungime \(1+\sqrt y\), deci \(F_Y(y)=\frac14\big(1+\sqrt y\big)\). Funcția \(F_Y\) este continuă (în \(y=1\) ambele formule dau \(\frac12\)), dar are un „colț” în \(1\); derivând pe fiecare interval regăsim \(\frac{1}{4\sqrt y}\), respectiv \(\frac{1}{8\sqrt y}\) (Lema 16). De exemplu, \(\PP(Y\le4)=F_Y(4)=\frac34\), adică \(\PP(-1<X\le2)\).
Arată codul R
set.seed(41)y <-runif(1e5, -1, 3)^2# Y = X^2, X ~ U(-1, 3)g <-c(seq(0.03, 0.999, length.out =200), seq(1.001, 9, length.out =200))d <-data.frame(y = g, f =ifelse(g <1, 1/4, 1/8) /sqrt(g),ramura = g <1) # densitatea, pe ramuriggplot(data.frame(y = y), aes(y)) +geom_histogram(aes(y =after_stat(density)), breaks =seq(0, 9, 0.2),fill = culori[["albastru"]], colour ="white", alpha =0.8) +geom_line(data = d, aes(y, f, group = ramura), colour = culori[["rosu"]]) +coord_cartesian(ylim =c(0, 1.6)) +labs(x ="y", y ="densitate")
Figura 1: Histograma a \(10^5\) valori simulate ale lui \(Y=X^2\), \(X\sim\Unif(-1,3)\), și densitatea teoretică (curba roșie), care are două expresii, cu un salt în \(y=1\).
Teorema 19 regăsește și Exemplul 8: cu ramurile \(I_1=(0,1)\) și \(I_2=(1,2)\), \(J_1=J_2=(0,1)\), \(h_1(y)=1-\sqrt{1-y}\), \(h_2(y)=1+\sqrt{1-y}\) și \(|h_1'(y)|=|h_2'(y)|=\frac{1}{2\sqrt{1-y}}\), obținem \(f_Y(y)=2\cdot\frac12\cdot\frac{1}{2\sqrt{1-y}}=\frac{1}{2\sqrt{1-y}}\) pe \((0,1)\). Următorul exemplu are trei ramuri; în el folosim forma (7): rezolvăm ecuația \(g(x)=y\) și adunăm contribuțiile \(f_X(x)/|g'(x)|\) ale soluțiilor.
Exemplul 12(Sinusul unui unghi uniform: legea arcsinus)
Fie \(X\sim\Unif(0,2\pi)\) (faza unui semnal periodic observat la un moment întâmplător) și \(Y=\sin X\). Pe \((0,2\pi)\), \(g(x)=\sin x\) are derivata \(\cos x\), nulă în \(\frac\pi2\) și în \(\frac{3\pi}2\); alegem ramurile \[
I_1=\big(0,\tfrac\pi2\big),\qquad I_2=\big(\tfrac\pi2,\tfrac{3\pi}2\big),\qquad I_3=\big(\tfrac{3\pi}2,2\pi\big),
\] pe care \(g\) este strict crescătoare, strict descrescătoare, respectiv strict crescătoare, cu imaginile \(J_1=(0,1)\), \(J_2=(-1,1)\) și \(J_3=(-1,0)\). Fie \(y\in(-1,1)\), \(y\ne0\). Ecuația \(\sin x=y\) are exact două soluții în \(I_1\cup I_2\cup I_3\): pentru \(y\in(0,1)\), una în \(I_1\) (\(x=\arcsin y\)) și una în \(I_2\) (\(x=\pi-\arcsin y\)); pentru \(y\in(-1,0)\), una în \(I_2\) (\(x=\pi-\arcsin y\)) și una în \(I_3\) (\(x=2\pi+\arcsin y\)). În orice soluție, \(|g'(x)|=|\cos x|=\sqrt{1-\sin^2x}=\sqrt{1-y^2}\). Din (7), cu \(f_X=\frac1{2\pi}\), \[
f_Y(y)=2\cdot\frac{1}{2\pi}\cdot\frac{1}{\sqrt{1-y^2}}=\frac{1}{\pi\sqrt{1-y^2}},\qquad -1<y<1,
\] și \(f_Y=0\) în rest (valoarea în \(y=0\) nu contează): legea arcsinus pe \((-1,1)\), cu funcția de repartiție \(F_Y(y)=\int_{-1}^y\frac{\dd t}{\pi\sqrt{1-t^2}}=\frac12+\frac1\pi\arcsin y\). Deși perechea de ramuri care contribuie se schimbă în \(y=0\), formula obținută este aceeași pe tot intervalul. Densitatea este minimă în \(0\) și nemărginită lângă \(\pm1\): un semnal sinusoidal observat la un moment întâmplător se află cel mai probabil aproape de valorile extreme, unde variază cel mai lent. De exemplu, \(\PP(Y\le\frac12)=\frac12+\frac1\pi\cdot\frac\pi6=\frac23\).
Verificăm prin simulare câte o probabilitate din Exemplele 7(b), 8, 10 (cu \(\sigma=1\)) și 12: generăm \(10^5\) valori ale lui \(X\), aplicăm transformarea și comparăm frecvența relativă a evenimentului cu probabilitatea calculată.
Prima linie conține frecvențele relative ale evenimentelor \(\{\tan X\le1\}\), \(\{X(2-X)\le\frac34\}\), \(\{|Z|\le1\}\) și \(\{\sin X\le\frac12\}\), iar a doua, probabilitățile \(\frac34\), \(\frac12\), \(2\Phi(1)-1\) și \(\frac23\) calculate în exemple; diferențele sunt de ordinul \(10^{-3}\), cât eroarea unei simulări cu \(10^5\) repetări.
Exemplul 13(Cenzurare: o transformare fără densitate)
Fie \(X\) o v.a. cu densitatea \(f_X\) și \(c\in\R\) cu \(0<F_X(c)<1\). Observăm \(X\) numai până la pragul \(c\): \(Y=\min(X,c)\) (de exemplu, un experiment de fiabilitate oprit la momentul \(c\)). Funcția \(g(x)=\min(x,c)\) este constantă pe \([c,\infty)\), unde \(g'=0\): Teorema 19 nu se aplică. Metoda funcției de repartiție funcționează însă pentru orice \(g\): pentru \(y<c\), \(\min(X,c)\le y\iff X\le y\), deci \(F_Y(y)=F_X(y)\); pentru \(y\ge c\), \(\min(X,c)\le c\le y\) întotdeauna, deci \(F_Y(y)=1\). Funcția \(F_Y\) are în \(c\) un salt de mărime \(1-F_X(c)\), deci, din Propoziția 14(d), \(\PP(Y=c)=\PP(X\ge c)>0\): punctul \(c\) este un atom. Prin urmare \(Y\)nu este continuă (o v.a. cu densitate are \(\PP(Y=y)=0\) pentru orice \(y\)) și nu este discretă (suma probabilităților tuturor valorilor ei este \(\PP(Y=c)<1\)). Derivata lui \(F_Y\) are integrala \(F_X(c)<1\), deci nu este o densitate: de aceea Lema 16 cere continuitatea lui \(F\). De exemplu, pentru \(X\sim\Exp(1)\) și \(c=2\), \(\PP(Y=2)=e^{-2}\approx0.1353\). În general, dacă \(g\) este constantă pe o mulțime căreia \(X\) îi dă probabilitate pozitivă, atunci \(g(X)\) are un atom și nu are densitate.
Cum se calculează cu o astfel de repartiție. Repartiția lui \(Y\) are o parte „cu densitate” și un atom: descompunând după evenimentele \(\{X<c\}\) și \(\{X\ge c\}\), pentru orice borelian \(B\), \[
\PP(Y\in B)=\PP(X\in B,\ X<c)+\PP(X\ge c)\,\Ind_B(c)=\int_{B\cap(-\infty,c)}f_X(x)\dd x+\PP(X\ge c)\,\Ind_B(c).
\] Pentru \(X\sim\Exp(1)\) și \(c=2\): \(F_Y(y)=1-e^{-y}\) pentru \(0\le y<2\) și \(F_Y(y)=1\) pentru \(y\ge2\), cu saltul \(1-(1-e^{-2})=e^{-2}\) în \(2\). De exemplu, \(\PP(1<Y\le2)=F_Y(2)-F_Y(1)=e^{-1}\approx0.3679\); aceeași valoare rezultă din descompunere, \(\int_1^2e^{-x}\dd x+e^{-2}=(e^{-1}-e^{-2})+e^{-2}\), pe când integrala singură, \(e^{-1}-e^{-2}\approx0.2325\), ar „uita” atomul.
Dacă repetăm de multe ori un experiment, fiecare valoare \(x_i\) a lui \(X\) apare cu frecvența relativă aproximativ \(p_i\), deci media aritmetică a valorilor observate este aproximativ \(\sum_ix_ip_i\): centrul de greutate al repartiției.
Definiția 21(Media)
Dacă \(X\) este discretă și \(\sum_i|x_i|p_i<\infty\), media lui \(X\) este \(\E[X]=\sum_ix_ip_i\); dacă \(X\) este continuă și \(\int_{\R}|x|f_X(x)\dd x<\infty\), \(\E[X]=\int_{\R}xf_X(x)\dd x\). Altfel spunem că \(X\)nu are medie; pentru \(X\ge0\) scriem atunci \(\E[X]=+\infty\). În general, media este integrala Lebesgue \(\int_\Omega X\dd\PP\).
Dacă \(\PP(X=2^k)=2^{-k}\), \(k\ge1\) (câștigul \(2^k\) dacă primul cap apare la aruncarea \(k\)), atunci \(\sum_k2^k2^{-k}=\infty\) („paradoxul de la Sankt Petersburg”). (b) Pentru repartiția Cauchy, \[
\int_{\R}\frac{|x|}{\pi(1+x^2)}\dd x=\frac2\pi\lim_{A\to\infty}\int_0^A\frac{x\dd x}{1+x^2}=\frac1\pi\lim_{A\to\infty}\ln(1+A^2)=\infty,
\] deși densitatea este simetrică față de \(0\). Consecințele pentru mediile de eșantion apar în Secțiunea 9.
Teorema 22(Formula de transport)
Pentru \(g:\R\to\R\) boreliană, \(\E[g(X)]=\sum_ig(x_i)p_i\) dacă \(X\) este discretă și \(\E[g(X)]=\int_{\R}g(x)f_X(x)\dd x\) dacă \(X\) este continuă, cu condiția ca seria, respectiv integrala, să conveargă absolut.
Demonstrație.Ideea demonstrației. În cazul discret, grupăm valorile \(x_i\) după valoarea comună \(g(x_i)\); în cazul continuu, pentru \(g\) strict monotonă, folosim densitatea lui \(g(X)\) din Teorema 17 și o schimbare de variabilă.
Cazul discret.\(Y=g(X)\) este discretă; fie \(y_1,y_2,\dots\) valorile ei distincte. Mulțimile de indici \(I_j=\{i:\ g(x_i)=y_j\}\) formează o partiție a mulțimii indicilor, iar din (3), \(\PP(Y=y_j)=\sum_{i\in I_j}p_i\). Întâi, cu \(|g|\) în locul lui \(g\): o serie cu termeni nenegativi poate fi sumată pe blocuri, deci \[
\sum_j|y_j|\,\PP(Y=y_j)=\sum_j\sum_{i\in I_j}|g(x_i)|\,p_i=\sum_i|g(x_i)|\,p_i<\infty ,
\] adică \(Y\) are medie (Definiția 21). Apoi, seria \(\sum_ig(x_i)p_i\) fiind absolut convergentă, și ea poate fi sumată pe blocurile \(I_j\) (suma unei serii absolut convergente nu depinde de ordinea și de gruparea termenilor): \[
\sum_ig(x_i)p_i=\sum_j\sum_{i\in I_j}g(x_i)p_i=\sum_jy_j\sum_{i\in I_j}p_i=\sum_jy_j\,\PP(Y=y_j)=\E[Y].
\]
Cazul continuu, \(g\) strict monotonă. Presupunem că \(f_X\) este nulă în afara unui interval deschis \(I\) și că \(g:I\to\R\) este strict monotonă, cu derivata continuă și nenulă. Din Teorema 17, cu notațiile de acolo (\(h=g^{-1}\), \(J=g(I)\)), \(Y=g(X)\) are densitatea \(f_Y(y)=f_X(h(y))\,|h'(y)|\) pe \(J\). În integrala care definește \(\E[Y]\) facem schimbarea de variabilă \(y=g(x)\), adică \(x=h(y)\), \(\dd y=g'(x)\dd x\), cu \(|h'(g(x))|=1/|g'(x)|\): dacă \(g\) este crescătoare, capetele își păstrează ordinea și \(g'=|g'|\); dacă \(g\) este descrescătoare, capetele se inversează și \(g'=-|g'|\), cele două schimbări de semn compensându-se. În ambele cazuri \[
\E[Y]=\int_Jy\,f_X\big(h(y)\big)\,|h'(y)|\dd y=\int_Ig(x)\,f_X(x)\,\frac{1}{|g'(x)|}\,|g'(x)|\dd x=\int_{\R}g(x)f_X(x)\dd x ,
\] iar același calcul cu \(|y|\) în locul lui \(y\) arată că \(\int_J|y|f_Y(y)\dd y=\int_{\R}|g(x)|f_X(x)\dd x\), deci \(Y\) are medie exact când integrala din enunț converge absolut.
Cazul continuu, \(g\) boreliană oarecare. Variabila \(g(X)\) poate să nu fie nici discretă, nici continuă, iar media ei este integrala Lebesgue din Definiția 21; în această generalitate formula este teorema de schimbare de variabilă pentru integrala în raport cu o probabilitate, pe care o admitem (Jacod and Protter 2004, cap. 9; Billingsley 1995, sec. 16 și 21).■
Propoziția 23(Proprietățile mediei)
Fie \(X\), \(Y\) v.a. cu medie și \(a,b\in\R\).
\(\E[a]=a\), \(\E[aX+b]=a\E[X]+b\) și \(\E[\Ind_A]=\PP(A)\).
(liniaritate) \(\E[X+Y]=\E[X]+\E[Y]\).
(monotonie) Dacă \(X\ge0\), atunci \(\E[X]\ge0\); dacă \(X\le Y\), atunci \(\E[X]\le\E[Y]\); \(|\E[X]|\le\E|X|\).
(convergența dominată) Dacă \(X_n\to X\) a.s. și \(|X_n|\le W\) cu \(\E[W]<\infty\), atunci \(\E[X_n]\to\E[X]\).
Demonstrație.Ideea demonstrației. (a) și (c) rezultă din formula de transport și din definiția mediei ca sumă sau integrală; (b) și (d) sunt proprietăți generale ale integralei.
Constanta \(a\) este o v.a. discretă cu singura valoare \(a\), de probabilitate \(1\), deci \(\E[a]=a\cdot1=a\). Pentru \(aX+b\) folosim formula de transport (Teorema 22) cu \(g(x)=ax+b\) (strict monotonă dacă \(a\ne0\), caz în care formula a fost demonstrată; dacă \(a=0\), \(aX+b\) este constanta \(b\)); convergența absolută rezultă din \(|ax+b|\le|a||x|+|b|\). În cazul continuu, \[
\E[aX+b]=\int_{\R}(ax+b)f_X(x)\dd x=a\int_{\R}xf_X(x)\dd x+b\int_{\R}f_X(x)\dd x=a\,\E[X]+b ,
\] iar în cazul discret, \(\E[aX+b]=\sum_i(ax_i+b)p_i=a\sum_ix_ip_i+b\sum_ip_i=a\,\E[X]+b\). În fine, \(\Ind_A\) este o v.a. discretă cu valorile \(1\) și \(0\), luate cu probabilitățile \(\PP(A)\) și \(1-\PP(A)\), deci \(\E[\Ind_A]=1\cdot\PP(A)+0\cdot(1-\PP(A))=\PP(A)\).
și (d) sunt proprietăți ale integralei Lebesgue \(\int_\Omega X\dd\PP\) (liniaritatea integralei, respectiv teorema convergenței dominate a lui Lebesgue), pe care le admitem în generalitatea enunțată (Jacod and Protter 2004, cap. 9; Billingsley 1995, sec. 16). Liniaritatea (b) este demonstrată în Secțiunea 11.2 (Propoziția 66) în cele două cazuri în care putem calcula cu mijloacele cursului: vectorul \((X,Y)\) discret, respectiv cu densitate comună.
Fie \(X\ge0\). În cazul discret, valorile \(x_i\) cu \(p_i>0\) sunt nenegative, deci \(\E[X]=\sum_ix_ip_i\ge0\). În cazul continuu, \(\int_{-\infty}^0f_X=\PP(X<0)=0\), deci \(f_X\) nu contribuie la integrale pe \((-\infty,0)\) și \(\E[X]=\int_0^\infty xf_X(x)\dd x\ge0\); pentru o v.a. nenegativă oarecare, proprietatea este pozitivitatea integralei Lebesgue, admisă împreună cu (b). Dacă \(X\le Y\), atunci \(Y-X\ge0\), deci, din (a) și (b), \(\E[Y]-\E[X]=\E[Y-X]\ge0\). În fine, \(-|X|\le X\le|X|\), iar \(|X|\) are medie (aceasta este condiția din Definiția 21); din monotonie, \(-\E|X|\le\E[X]\le\E|X|\), adică \(|\E[X]|\le\E|X|\).
■
Prin inducție, \(\E\big[\sum_{i=1}^na_iX_i\big]=\sum_{i=1}^na_i\E[X_i]\).
Media nu spune nimic despre împrăștierea valorilor; o măsură naturală a acesteia este abaterea pătratică medie față de medie.
Definiția 24(Momente. Varianța)
Dacă \(\E|X|^k<\infty\), \(\E[X^k]\) este momentul de ordin \(k\) și \(\E[(X-\E X)^k]\)momentul centrat de ordin \(k\) al lui \(X\). Dacă \(\E[X^2]<\infty\), varianța lui \(X\) este \(\Var(X)=\E\big[(X-\E X)^2\big]\), iar \(\sigma_X=\sqrt{\Var(X)}\) este abaterea standard.
Varianța este bine definită: dacă \(\E[X^2]<\infty\), atunci \(X\) are medie, deoarece \(|x|\le\frac{1+x^2}{2}\). Abaterea standard se exprimă în aceleași unități de măsură ca \(X\), pe când varianța, în pătratul lor (pentru o lungime în cm: \(\sigma_X\) în cm, \(\Var(X)\) în cm\(^2\)); de aceea împrăștierea se raportează prin \(\sigma_X\).
Propoziția 25(Proprietățile varianței)
Fie \(\E[X^2]<\infty\), \(\mu=\E[X]\) și \(a,b,c\in\R\). (a) \(\Var(X)=\E[X^2]-\mu^2\). (b) \(\Var(aX+b)=a^2\Var(X)\). (c) \(\E[(X-c)^2]=\Var(X)+(\mu-c)^2\); deci media este constanta cea mai apropiată de \(X\) în medie pătratică.
Demonstrație. Folosim de fiecare dată liniaritatea mediei (Propoziția 23(a), (b)); toate variabilele care apar au medie, deoarece \(\E[X^2]<\infty\).
Dezvoltând pătratul, \((X-\mu)^2=X^2-2\mu X+\mu^2\), deci \[
\Var(X)=\E[X^2]-2\mu\,\E[X]+\mu^2=\E[X^2]-2\mu^2+\mu^2=\E[X^2]-\mu^2 .
\]
\(\E[aX+b]=a\mu+b\), deci \(aX+b-\E[aX+b]=a(X-\mu)\) și \(\Var(aX+b)=\E\big[a^2(X-\mu)^2\big]=a^2\,\E[(X-\mu)^2]=a^2\Var(X)\).
Scriem \(X-c=(X-\mu)+(\mu-c)\) și ridicăm la pătrat: \((X-c)^2=(X-\mu)^2+2(\mu-c)(X-\mu)+(\mu-c)^2\). Luând media și folosind \(\E[X-\mu]=\E[X]-\mu=0\), \[
\E[(X-c)^2]=\Var(X)+2(\mu-c)\,\E[X-\mu]+(\mu-c)^2=\Var(X)+(\mu-c)^2 .
\] Cum \((\mu-c)^2\ge0\), cu egalitate numai pentru \(c=\mu\), funcția \(c\mapsto\E[(X-c)^2]\) își atinge minimul, egal cu \(\Var(X)\), în \(c=\mu\).
■
Relația (c) este prototipul descompunerii „eroare pătratică medie = varianță + deplasare\(^2\)” (Cursul 7). Din (b), variabila standardizată\((X-\mu)/\sigma_X\) are media \(0\) și varianța \(1\).
Exemplul 15(Media și varianța calculate din definiție)
Cazul discret. Fie \(X\) numărul de capete în trei aruncări ale unei monede echilibrate (Exemplul 5). Din Definiția 21 și din formula de transport cu \(g(x)=x^2\), \[
\begin{aligned}
\E[X]&=0\cdot\frac18+1\cdot\frac38+2\cdot\frac38+3\cdot\frac18=\frac{12}{8}=\frac32,\\
\E[X^2]&=0\cdot\frac18+1\cdot\frac38+4\cdot\frac38+9\cdot\frac18=\frac{24}{8}=3 ,
\end{aligned}
\] deci, din Propoziția 25(a), \(\Var(X)=3-\frac94=\frac34\) și \(\sigma_X=\frac{\sqrt3}{2}\approx0.866\).
Cazul continuu. Fie \(X\) cu densitatea \(f(x)=12x(1-x)^2\) pe \([0,1]\) (Exemplul 6). Cu \(x(1-x)^2=x-2x^2+x^3\), \[
\begin{aligned}
\E[X]&=\int_0^112\big(x^2-2x^3+x^4\big)\dd x=12\Big(\frac13-\frac12+\frac15\Big)=\frac25,\\
\E[X^2]&=\int_0^112\big(x^3-2x^4+x^5\big)\dd x=12\Big(\frac14-\frac25+\frac16\Big)=\frac15 ,
\end{aligned}
\] deci \(\Var(X)=\frac15-\frac4{25}=\frac1{25}\) și \(\sigma_X=0.2\), în acord cu formulele pentru \(\BetaD(2,3)\) din Tabelul 2: \(\frac{a}{a+b}=\frac25\) și \(\frac{ab}{(a+b)^2(a+b+1)}=\frac{6}{25\cdot6}\).
Proprietățile mediei și ale varianței. Pentru \(X\) din (a), jucătorul care câștigă \(1\) leu pentru fiecare cap și pierde \(1\) leu pentru fiecare pajură are câștigul \(Y=X-(3-X)=2X-3\); din Propozițiile 23(a) și 25(b), \(\E[Y]=2\cdot\frac32-3=0\) și \(\Var(Y)=4\cdot\frac34=3\), fără a mai determina repartiția lui \(Y\). Pentru o funcție neliniară, în schimb, media nu se „mută” în interiorul funcției: din formula de transport și din binomul lui Newton, \[
\E\big[2^X\big]=\sum_{k=0}^32^k\binom3k\frac18=\frac{(1+2)^3}{8}=\frac{27}{8}=3.375\ne2^{\E[X]}=2^{3/2}\approx2.83 .
\]
Exemplul 16(Media și varianța repartițiilor uzuale)
Valorile din Tabelul 1 și Tabelul 2 se obțin din definiție și din formula de transport; arătăm calculele tipice.
Bernoulli și binomială. Pentru \(X\sim\Bern(p)\), \(X^2=X\), deci \(\E[X]=\E[X^2]=p\) și \(\Var(X)=p-p^2=p(1-p)\). Pentru \(X\sim\Bin(n,p)\), din identitatea \(k\binom nk=n\binom{n-1}{k-1}\) și din binomul lui Newton (cu \(q=1-p\)), \[
\E[X]=\sum_{k=1}^nk\binom nkp^kq^{n-k}=np\sum_{k=1}^n\binom{n-1}{k-1}p^{k-1}q^{n-k}=np(p+q)^{n-1}=np ;
\] la fel, din \(k(k-1)\binom nk=n(n-1)\binom{n-2}{k-2}\), \[
\E[X(X-1)]=\sum_{k=2}^nk(k-1)\binom nkp^kq^{n-k}=n(n-1)p^2\sum_{k=2}^n\binom{n-2}{k-2}p^{k-2}q^{n-k}=n(n-1)p^2 ,
\] iar din \(X^2=X(X-1)+X\) rezultă \(\E[X^2]=n(n-1)p^2+np\), deci \(\Var(X)=n(n-1)p^2+np-n^2p^2=np(1-p)\). (Momentul „factorial” \(\E[X(X-1)]\) se calculează mai ușor decât \(\E[X^2]\) ori de câte ori funcția de masă conține factoriale.)
Poisson. Cu \(\frac{k}{k!}=\frac1{(k-1)!}\), \(\frac{k(k-1)}{k!}=\frac1{(k-2)!}\) și seria exponențialei, \[
\E[X]=\sum_{k\ge1}k\,e^{-\lambda}\frac{\lambda^k}{k!}=\lambda e^{-\lambda}\sum_{k\ge1}\frac{\lambda^{k-1}}{(k-1)!}=\lambda ,\qquad
\E[X(X-1)]=\lambda^2e^{-\lambda}\sum_{k\ge2}\frac{\lambda^{k-2}}{(k-2)!}=\lambda^2 ,
\] deci \(\E[X^2]=\lambda^2+\lambda\) și \(\Var(X)=\lambda\).
Gamma și exponențială. Pentru \(X\sim\GammaD(\alpha,\lambda)\) și \(k\in\N\), cu schimbarea de variabilă \(y=\lambda x\), \(\E[X^k]=\int_0^\infty x^k\frac{\lambda^\alpha x^{\alpha-1}e^{-\lambda x}}{\Gamma(\alpha)}\dd x=\frac{1}{\Gamma(\alpha)\lambda^k}\int_0^\infty y^{\alpha+k-1}e^{-y}\dd y=\frac{\Gamma(\alpha+k)}{\Gamma(\alpha)\,\lambda^k}\), deci \(\E[X]=\frac\alpha\lambda\), \(\E[X^2]=\frac{\alpha(\alpha+1)}{\lambda^2}\) și \(\Var(X)=\frac{\alpha}{\lambda^2}\); pentru \(\Exp(\lambda)=\GammaD(1,\lambda)\), \(\E[X^k]=k!/\lambda^k\).
Normală. Pentru \(Z\sim\Norm(0,1)\), funcția \(z\phi(z)\) este impară și integrabilă, deci \(\E[Z]=0\); integrând prin părți (cu \(\phi'(z)=-z\phi(z)\)), \(\E[Z^2]=\int_{\R}z\cdot z\phi(z)\dd z=\big[-z\phi(z)\big]_{-\infty}^{\infty}+\int_{\R}\phi(z)\dd z=1\). Pentru \(X=\mu+\sigma Z\sim\Norm(\mu,\sigma^2)\) (Propoziția 18(b)), \(\E[X]=\mu\) și \(\Var(X)=\sigma^2\), din Propozițiile 23(a) și 25(b).
Celelalte valori. Pentru \(X\sim\Unif(a,b)\), \(\E[X]=\int_a^b\frac{x}{b-a}\dd x=\frac{a+b}{2}\) și \(\E[X^2]=\frac{a^2+ab+b^2}{3}\), deci \(\Var(X)=\frac{(b-a)^2}{12}\); pentru \(X\sim\BetaD(a,b)\), \(\E[X^k]=\frac{B(a+k,b)}{B(a,b)}\), de unde media și varianța din tabel. În detaliu: \(\E[X]=\frac{b^2-a^2}{2(b-a)}\), \(\E[X^2]=\int_a^b\frac{x^2}{b-a}\dd x=\frac{b^3-a^3}{3(b-a)}\) și \(\frac{a^2+ab+b^2}{3}-\frac{(a+b)^2}{4}=\frac{a^2-2ab+b^2}{12}\) pentru uniformă; pentru Beta, \(\E[X^k]=\frac{1}{B(a,b)}\int_0^1x^{a+k-1}(1-x)^{b-1}\dd x\), iar din \(B(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}\) și \(\Gamma(\alpha+1)=\alpha\Gamma(\alpha)\) rezultă \(\E[X]=\frac{a}{a+b}\) și \(\E[X^2]=\frac{a(a+1)}{(a+b)(a+b+1)}\). Repartiția geometrică este tratată cu f.g.m. în Exemplul 23; pentru binomiala negativă și hipergeometrică, vezi (Casella and Berger 2002, sec. 3.2).
5.2 Inegalități
Momentele controlează probabilitățile valorilor mari (ale „cozilor” repartiției). Inegalitățile următoare sunt valabile pentru orice repartiție și vor fi folosite constant.
Propoziția 26(Inegalitățile lui Markov și Cebîșev)
(Markov) Dacă \(Y\ge0\) și \(a>0\), atunci \(\PP(Y\ge a)\le\dfrac{\E[Y]}{a}\); în particular, pentru \(p>0\), \(\PP(|X|\ge a)\le\dfrac{\E|X|^p}{a^p}\).
(Cebîșev) Dacă \(\E[X^2]<\infty\) și \(\varepsilon>0\), atunci \(\PP\big(|X-\E X|\ge\varepsilon\big)\le\dfrac{\Var(X)}{\varepsilon^2}\).
Demonstrație.
Are loc inegalitatea punctuală \(Y\ge a\Ind_{\{Y\ge a\}}\): dacă \(Y(\omega)\ge a\), membrul drept este \(a\le Y(\omega)\); altfel este \(0\le Y(\omega)\) (aici se folosește \(Y\ge0\)). Din monotonia și liniaritatea mediei (Propoziția 23), \(\E[Y]\ge a\,\E[\Ind_{\{Y\ge a\}}]=a\,\PP(Y\ge a)\), iar împărțind la \(a>0\) obținem inegalitatea (dacă \(\E[Y]=\infty\), ea este banală). Pentru a doua formă, funcția \(u\mapsto u^p\) fiind strict crescătoare pe \([0,\infty)\), \(\{|X|\ge a\}=\{|X|^p\ge a^p\}\); aplicăm prima formă variabilei \(Y=|X|^p\ge0\) și numărului \(a^p>0\).
Aplicăm a doua formă din (a), cu \(p=2\) și \(a=\varepsilon\), variabilei \(X-\E X\): \(\PP(|X-\E X|\ge\varepsilon)\le\E\big[(X-\E X)^2\big]/\varepsilon^2=\Var(X)/\varepsilon^2\).
■
Consecințe. (1) O v.a. \(Y\ge0\) cu \(\E[Y]=0\) este nulă a.s.: din inegalitatea lui Markov, \(\PP(Y\ge\frac1k)\le k\,\E[Y]=0\) pentru orice \(k\ge1\), iar evenimentele \(\{Y\ge\frac1k\}\) cresc către \(\{Y>0\}\), deci \(\PP(Y>0)=\lim_k\PP(Y\ge\frac1k)=0\) (continuitatea probabilității). (2) În particular, \(\Var(X)=0\) dacă și numai dacă \(X\) este constantă a.s.: dacă \(\Var(X)=0\), aplicăm (1) variabilei \(Y=(X-\E X)^2\ge0\), de medie \(\Var(X)=0\), și obținem \(X=\E X\) a.s.; reciproc, dacă \(X=c\) a.s., atunci \(\E[X]=c\) și \(\Var(X)=\E[(X-c)^2]=0\).
Exemplul 17(Cum se folosesc inegalitățile lui Markov și Cebîșev)
Markov: doar media. Consumul zilnic de apă \(Y\ge0\) al unei gospodării are media de \(200\) de litri. Fără nicio altă informație despre repartiție, \(\PP(Y\ge1000)\le\frac{200}{1000}=0.2\): în cel mult o cincime dintre zile consumul atinge \(1000\) de litri.
Cebîșev: media și varianța. Luând \(\varepsilon=k\sigma_X\) în Propoziția 26(b), \(\PP\big(|X-\mu|\ge k\sigma_X\big)\le\frac{1}{k^2}\): pentru orice repartiție cu varianță finită, cel puțin \(\frac34\) din probabilitate se află în intervalul \(\mu\pm2\sigma_X\) și cel puțin \(\frac89\) în \(\mu\pm3\sigma_X\). De exemplu, dacă masa unor pachete are media \(500\) g și abaterea standard \(4\) g, cel puțin \(\frac89\approx88.9\%\) dintre pachete au masa între \(488\) g și \(512\) g, oricare ar fi repartiția. Dacă repartiția este normală, proporțiile exacte sunt mult mai mari: \(2\Phi(2)-1\approx0.9545\) și \(2\Phi(3)-1\approx0.9973\).
Cât de precise sunt marginile. Fie \(X\sim\Bin(100,\frac12)\), cu \(\mu=50\) și \(\sigma_X^2=25\). Inegalitatea lui Markov dă \(\PP(X\ge60)\le\frac{50}{60}\approx0.833\). Inegalitatea lui Cebîșev dă \(\PP(|X-50|\ge10)\le\frac{25}{100}=0.25\), iar repartiția fiind simetrică față de \(50\), \(\PP(X\ge60)=\frac12\PP(|X-50|\ge10)\le0.125\). Valoarea exactă (în R: 1 - pbinom(59, 100, 0.5)) este \(0.0284\). Marginile sunt deci grosiere, ceea ce este firesc pentru inegalități valabile pentru toate repartițiile; forța lor stă în generalitate: cer doar momente și vor demonstra legea slabă a numerelor mari (Teorema 60).
Propoziția 27(Inegalitatea Cauchy–Schwarz)
Dacă \(\E[X^2],\E[Y^2]<\infty\), atunci \(XY\) are medie și \(\big(\E[XY]\big)^2\le\E[X^2]\,\E[Y^2]\), cu egalitate dacă și numai dacă \(Y=0\) a.s. sau \(X=t_0Y\) a.s. pentru un \(t_0\in\R\).
Demonstrație.Ideea demonstrației. Media pătratului \((X-tY)^2\) este un trinom de gradul al doilea în \(t\), nenegativ pentru orice \(t\); evaluându-l în punctul său de minim obținem exact inegalitatea, iar egalitatea înseamnă că minimul este \(0\).
Pasul 1 (\(XY\) are medie). Din \((|x|-|y|)^2\ge0\) rezultă \(|xy|\le\frac{x^2+y^2}{2}\), deci, din monotonia mediei, \(\E|XY|\le\frac12\big(\E[X^2]+\E[Y^2]\big)<\infty\).
Pasul 2 (cazul \(\E[Y^2]=0\)). Variabila \(Y^2\ge0\) are media \(0\), deci \(Y^2=0\) a.s. (consecința (1) de după Propoziția 26), adică \(Y=0\) a.s. Atunci \(XY=0\) a.s., \(\E[XY]=0\) și ambii membri ai inegalității sunt nuli: are loc egalitatea, în acord cu enunțul.
Pasul 3 (cazul \(\E[Y^2]>0\)). Pentru orice \(t\in\R\), \((X-tY)^2=X^2-2tXY+t^2Y^2\ge0\), deci, din liniaritatea și monotonia mediei, \[
q(t):=\E\big[(X-tY)^2\big]=\E[X^2]-2t\,\E[XY]+t^2\,\E[Y^2]\ge0 .
\] Alegem \(t_0=\E[XY]/\E[Y^2]\) (punctul de minim al trinomului \(q\)): \[
0\le q(t_0)=\E[X^2]-2\,\frac{(\E[XY])^2}{\E[Y^2]}+\frac{(\E[XY])^2}{\E[Y^2]}=\E[X^2]-\frac{(\E[XY])^2}{\E[Y^2]} ,
\] iar înmulțind cu \(\E[Y^2]>0\) obținem \((\E[XY])^2\le\E[X^2]\,\E[Y^2]\).
Pasul 4 (cazul de egalitate). „\(\Rightarrow\)”: dacă are loc egalitatea și \(\E[Y^2]=0\), atunci \(Y=0\) a.s. (Pasul 2); dacă \(\E[Y^2]>0\), egalitatea înseamnă \(q(t_0)=0\), adică \(\E[(X-t_0Y)^2]=0\), deci \((X-t_0Y)^2=0\) a.s., adică \(X=t_0Y\) a.s. „\(\Leftarrow\)”: dacă \(Y=0\) a.s., ambii membri sunt nuli (Pasul 2); dacă \(X=t_0Y\) a.s., atunci \(\E[XY]=t_0\,\E[Y^2]\) și \(\E[X^2]=t_0^2\,\E[Y^2]\), deci \((\E[XY])^2=t_0^2(\E[Y^2])^2=\E[X^2]\,\E[Y^2]\).■
Exemplul 18(Inegalitatea Cauchy–Schwarz: o verificare și o utilizare)
Verificare. Fie \(U\sim\Unif(0,1)\), \(X=U\) și \(Y=U^2\). Atunci \(\E[XY]=\E[U^3]=\frac14\), \(\E[X^2]=\E[U^2]=\frac13\) și \(\E[Y^2]=\E[U^4]=\frac15\), iar \(\big(\frac14\big)^2=0.0625\le\frac13\cdot\frac15\approx0.0667\). Inegalitatea este strictă, deoarece \(U\) nu este proporțională cu \(U^2\).
Utilizare: abaterea medie absolută nu depășește abaterea standard. Aplicăm inegalitatea variabilelor \(|X-\mu|\) și \(1\) (constanta \(1\)): \(\big(\E|X-\mu|\big)^2\le\E\big[(X-\mu)^2\big]\cdot\E[1^2]=\Var(X)\), adică \(\E|X-\mu|\le\sigma_X\). Pentru \(U\sim\Unif(0,1)\): \(\E\big|U-\frac12\big|=2\int_{1/2}^1\big(u-\frac12\big)\dd u=\frac14\), față de \(\sigma_U=\frac{1}{\sqrt{12}}\approx0.289\). Pentru \(Z\sim\Norm(0,1)\), cu \(\phi'(z)=-z\phi(z)\): \(\E|Z|=2\int_0^\infty z\phi(z)\dd z=2\big[-\phi(z)\big]_0^\infty=2\phi(0)=\sqrt{2/\pi}\approx0.798\), față de \(\sigma_Z=1\). Aceeași inegalitate, aplicată variabilelor centrate, va da proprietatea \(|\rho(X,Y)|\le1\) a coeficientului de corelație (Secțiunea 7.3).
O funcție \(\varphi:I\to\R\) (\(I\) interval) este convexă dacă \(\varphi\big(\lambda x+(1-\lambda)y\big)\le\lambda\varphi(x)+(1-\lambda)\varphi(y)\) pentru \(x,y\in I\) și \(\lambda\in[0,1]\) (strict convexă dacă inegalitatea este strictă pentru \(x\ne y\) și \(\lambda\in(0,1)\)); o funcție cu \(\varphi''\ge0\) (respectiv \(\varphi''>0\)) este convexă (strict convexă).
Observație (Funcții convexe și pantele coardelor)
Pentru \(x\ne y\) în \(I\) notăm cu \(s(x,y)=\frac{\varphi(y)-\varphi(x)}{y-x}\)panta coardei care unește punctele de abscise \(x\) și \(y\) ale graficului lui \(\varphi\); evident, \(s(x,y)=s(y,x)\). Justificăm afirmația despre derivata a doua și pregătim demonstrația inegalității lui Jensen.
Fie \(x<y<z\) în \(I\) și \(\lambda=\frac{z-y}{z-x}\in(0,1)\); atunci \(1-\lambda=\frac{y-x}{z-x}\) și \(y=\lambda x+(1-\lambda)z\), iar orice punct dintre \(x\) și \(z\) se scrie astfel. Inegalitatea de convexitate \(\varphi(y)\le\lambda\varphi(x)+(1-\lambda)\varphi(z)\) se rescrie, scriind \(\varphi(y)=\lambda\varphi(y)+(1-\lambda)\varphi(y)\), ca \(\lambda\big(\varphi(y)-\varphi(x)\big)\le(1-\lambda)\big(\varphi(z)-\varphi(y)\big)\), adică \[
\frac{(z-y)(y-x)}{z-x}\,s(x,y)\le\frac{(y-x)(z-y)}{z-x}\,s(y,z)\iff s(x,y)\le s(y,z).
\] Pe de altă parte, din \(\varphi(z)-\varphi(x)=\big(\varphi(y)-\varphi(x)\big)+\big(\varphi(z)-\varphi(y)\big)\), împărțind la \(z-x\), \(s(x,z)=(1-\lambda)\,s(x,y)+\lambda\,s(y,z)\): panta coardei mari este o medie ponderată a celor două pante, deci se află între ele. Prin urmare \(\varphi\) este convexă dacă și numai dacă, pentru orice \(x<y<z\) din \(I\), \[
s(x,y)\le s(x,z)\le s(y,z)
\] („inegalitatea celor trei pante”), cu inegalități stricte în cazul strict convex. Aceasta spune exact că, pentru \(m\in I\) fixat, funcția \(u\mapsto s(m,u)=s(u,m)\) este crescătoare pe \(I\setminus\{m\}\): pentru \(m<y<z\) este prima inegalitate, pentru \(x<y<m\) a doua, iar pentru \(x<m<z\) inegalitatea dintre extreme.
Dacă \(\varphi''\ge0\) pe \(I\), atunci \(\varphi'\) este crescătoare; pentru \(x<y<z\), teorema lui Lagrange dă \(s(x,y)=\varphi'(\xi_1)\) și \(s(y,z)=\varphi'(\xi_2)\), cu \(\xi_1<y<\xi_2\), deci \(s(x,y)\le s(y,z)\) și \(\varphi\) este convexă. Dacă \(\varphi''>0\), \(\varphi'\) este strict crescătoare, inegalitatea este strictă și \(\varphi\) este strict convexă.
Propoziția 28(Inegalitatea lui Jensen)
Fie \(X\) o v.a. cu medie, cu valori în intervalul \(I\), și \(\varphi:I\to\R\) convexă, cu \(\E|\varphi(X)|<\infty\). Atunci \(\varphi\big(\E[X]\big)\le\E\big[\varphi(X)\big]\). Dacă \(\varphi\) este strict convexă, egalitatea are loc dacă și numai dacă \(X\) este constantă a.s.
Demonstrație.Ideea demonstrației. Graficul unei funcții convexe se află deasupra unei drepte („de sprijin”) care trece prin punctul \((m,\varphi(m))\), unde \(m=\E[X]\). Scriem această inegalitate în punctul \(X(\omega)\) și luăm media: termenul liniar dispare, deoarece \(\E[X-m]=0\).
Pasul 1 (\(m\in I\); cazul în care \(m\) este un capăt). Fie \(m=\E[X]\). Dacă \(a=\inf I\) este finit, atunci \(X\ge a\), deci \(m\ge a\) (monotonia mediei); la fel, \(m\le\sup I\). Dacă \(m=a\), atunci \(X-a\ge0\) are media \(0\), deci \(X=a\) a.s. (consecința (1) de după Propoziția 26); în particular \(a\in I\), \(\varphi(X)=\varphi(a)\) a.s. și ambii membri ai inegalității sunt egali cu \(\varphi(a)\). Cazul \(m=\sup I\) este identic, cu \(\sup I-X\ge0\) în locul lui \(X-a\). Rămâne cazul în care \(m\) este punct interior al lui \(I\).
Pasul 2 (dreapta de sprijin). Fie \(x<m<y\) în \(I\). Din inegalitatea celor trei pante (observația de mai sus), \(s(x,m)\le s(m,y)\). Funcția \(y\mapsto s(m,y)\) este crescătoare pe \(I\cap(m,\infty)\) și mărginită inferior (de \(s(x,m)\), cu \(x<m\) fixat), deci are o limită finită la dreapta în \(m\), \[
c:=\lim_{y\searrow m}s(m,y)=\inf_{y>m}s(m,y),\qquad\text{cu}\qquad s(x,m)\le c\le s(m,y)\quad\text{pentru orice }x<m<y .
\] Pentru \(y>m\), înmulțind \(c\le\frac{\varphi(y)-\varphi(m)}{y-m}\) cu \(y-m>0\), obținem \(\varphi(y)\ge\varphi(m)+c(y-m)\). Pentru \(x<m\), înmulțind \(\frac{\varphi(m)-\varphi(x)}{m-x}\le c\) cu \(m-x>0\), obținem \(\varphi(m)-\varphi(x)\le c(m-x)\), adică \(\varphi(x)\ge\varphi(m)+c(x-m)\). Pentru \(x=m\) avem egalitate. Am obținut dreapta de sprijin\[
\varphi(x)\ge\varphi(m)+c\,(x-m)\qquad\text{pentru orice }x\in I . \tag{$\ast$}
\]
Pasul 3 (luăm media). Aplicând (\(\ast\)) în \(x=X(\omega)\), \(\varphi(X)\ge\varphi(m)+c(X-m)\); ambii membri au medie, deci, din monotonia și liniaritatea mediei, \[
\E[\varphi(X)]\ge\varphi(m)+c\,(\E[X]-m)=\varphi(m)=\varphi\big(\E[X]\big).
\]
Pasul 4 (cazul de egalitate pentru \(\varphi\) strict convexă). Dacă \(X=m\) a.s., ambii membri sunt egali cu \(\varphi(m)\). Reciproc, presupunem egalitate; dacă \(m\) este un capăt al lui \(I\), atunci \(X=m\) a.s., din Pasul 1. Dacă \(m\) este interior, inegalitatea (\(\ast\)) este strictă pentru \(x\ne m\): pantele fiind strict crescătoare, pentru \(x<m\) alegem \(x<x'<m\) și avem \(s(x,m)<s(x',m)\le c\), iar pentru \(y>m\) alegem \(m<y'<y\) și avem \(c\le s(m,y')<s(m,y)\). Variabila \(W=\varphi(X)-\varphi(m)-c(X-m)\) este deci nenegativă și \(W(\omega)>0\) exact când \(X(\omega)\ne m\). Media ei este \(\E[W]=\E[\varphi(X)]-\varphi(m)=0\), deci \(W=0\) a.s. (consecința (1) de după Propoziția 26), adică \(X=m\) a.s.■
Corolarul 29(Consecințe ale inegalității lui Jensen)
\((\E X)^2\le\E[X^2]\) și \(|\E X|\le\E|X|\). (b) Dacă \(X>0\), atunci \(\E[1/X]\ge1/\E[X]\) și \(\E[\ln X]\le\ln\E[X]\) (când mediile există), cu egalitate numai pentru \(X\) constantă. (c) (Lyapunov) Pentru \(0<p\le q\), \(\big(\E|Y|^p\big)^{1/p}\le\big(\E|Y|^q\big)^{1/q}\); în particular, \(\E|Y|^q<\infty\Rightarrow\E|Y|^p<\infty\).
Demonstrație.Ideea demonstrației. Aplicăm de fiecare dată inegalitatea lui Jensen (Propoziția 28) unei funcții convexe potrivite, a cărei convexitate o verificăm.
Pe \(I=\R\), \(\varphi(x)=x^2\) este convexă (\(\varphi''=2>0\)), iar \(\varphi(x)=|x|\) este convexă din inegalitatea triunghiului: \(|\lambda x+(1-\lambda)y|\le\lambda|x|+(1-\lambda)|y|\). Deci \((\E X)^2\le\E[X^2]\) (dacă \(\E[X^2]=\infty\), inegalitatea este banală) și \(|\E X|\le\E|X|\).
Pe \(I=(0,\infty)\), \(\varphi(x)=1/x\) are \(\varphi''(x)=2/x^3>0\), iar \(\varphi(x)=-\ln x\) are \(\varphi''(x)=1/x^2>0\): ambele sunt strict convexe. Inegalitatea lui Jensen dă \(\frac1{\E[X]}\le\E\big[\frac1X\big]\), respectiv \(-\ln\E[X]\le\E[-\ln X]=-\E[\ln X]\), adică \(\E[\ln X]\le\ln\E[X]\); din cazul de egalitate pentru funcții strict convexe, egalitatea are loc numai dacă \(X\) este constantă a.s.
Dacă \(\E|Y|^q=\infty\) sau \(p=q\), nu este nimic de demonstrat. Fie \(p<q\) și \(\E|Y|^q<\infty\). Variabila \(W=|Y|^p\ge0\) are medie: dacă \(|Y|\le1\), atunci \(W\le1\), iar dacă \(|Y|>1\), atunci \(|Y|^p\le|Y|^q\); deci \(W\le1+|Y|^q\) și \(\E[W]\le1+\E|Y|^q<\infty\). Funcția \(\psi(w)=w^{r}\), cu \(r=q/p>1\), este convexă pe \([0,\infty)\): \(\psi''(w)=r(r-1)w^{r-2}>0\) pe \((0,\infty)\), iar inegalitatea de convexitate se extinde la capătul \(0\) prin continuitate. În plus, \(\E|\psi(W)|=\E|Y|^q<\infty\). Din inegalitatea lui Jensen, \[
\big(\E|Y|^p\big)^{q/p}=\psi\big(\E[W]\big)\le\E\big[\psi(W)\big]=\E|Y|^q ,
\] iar ridicând la puterea \(1/q\) obținem \(\big(\E|Y|^p\big)^{1/p}\le\big(\E|Y|^q\big)^{1/q}\).
■
Exemplul 19(Inegalitatea lui Jensen pentru o repartiție uniformă)
Fie \(X\sim\Unif(1,2)\), cu \(\E[X]=\frac32\). Calculăm cei doi membri ai inegalităților din Corolarul 29(b) cu formula de transport. Pentru funcția convexă \(1/x\): \[
\E\Big[\frac1X\Big]=\int_1^2\frac{\dd x}{x}=\ln2\approx0.6931>\frac23=\frac{1}{\E[X]} .
\] Pentru funcția concavă \(\ln x\), cu primitiva \(x\ln x-x\) (integrare prin părți): \[
\E[\ln X]=\int_1^2\ln x\dd x=\big[x\ln x-x\big]_1^2=2\ln2-1\approx0.3863<\ln\frac32\approx0.4055 .
\] La fel, din (a), \(\E[X^2]=\frac{1+2+4}{3}=\frac73>\frac94=(\E X)^2\), diferența fiind chiar \(\Var(X)=\frac1{12}\). Regula de reținut: media unei funcții convexe de \(X\) este cel puțin funcția mediei, iar pentru funcții concave inegalitatea se inversează. Prima inegalitate explică un fenomen pe care îl vom reîntâlni: dacă \(\Xbar\) estimează fără eroare sistematică media \(1/\theta\), atunci \(1/\Xbar\)supraestimează în medie pe \(\theta\) (Exercițiul 3).
6 Funcția generatoare de momente
Funcția generatoare de momente (f.g.m.) a unei v.a. conține toate momentele ei, determină repartiția și, mai ales, transformă sumele de v.a. independente în produse (Secțiunea 7.4). O vom folosi pentru repartițiile exacte ale multor statistici (Cursul 2, Cursul 5) și pentru a demonstra teorema limită centrală (Hogg et al. 2019, sec. 1.9; Casella and Berger 2002, sec. 2.3).
Definiția 30(Funcția generatoare de momente)
Funcția generatoare de momente a v.a. \(X\) este \(M_X:\R\to[0,\infty]\), \[
M_X(t)=\E\big[e^{tX}\big],\qquad t\in\R .
\] Spunem că \(X\) admite f.g.m. dacă există \(h>0\) astfel încât \(M_X(t)<\infty\) pentru orice \(t\in(-h,h)\).
Media din definiție există întotdeauna (eventual egală cu \(+\infty\)), deoarece \(e^{tX}>0\); din formula de transport, \(M_X(t)=\sum_ie^{tx_i}p_i\) în cazul discret și \(M_X(t)=\int_{\R}e^{tx}f_X(x)\dd x\) în cazul continuu. Avem întotdeauna \(M_X(0)=1\), iar mulțimea \(\{t:\ M_X(t)<\infty\}\) este un interval care conține \(0\): dacă \(t_1<t<t_2\) și \(M_X(t_1),M_X(t_2)<\infty\), atunci \(tx\) se află între \(t_1x\) și \(t_2x\) pentru orice \(x\), deci \(e^{tx}\le e^{t_1x}+e^{t_2x}\) și \(M_X(t)\le M_X(t_1)+M_X(t_2)<\infty\).
Exemplul 20(O f.g.m. calculată direct din definiție)
La un joc echitabil, un jucător câștigă sau pierde \(1\) leu, cu probabilitatea \(\frac12\): câștigul \(X\) ia valorile \(1\) și \(-1\). F.g.m. este o sumă cu doi termeni, câte unul pentru fiecare valoare: \[
M_X(t)=e^{t\cdot1}\cdot\frac12+e^{t\cdot(-1)}\cdot\frac12=\frac{e^t+e^{-t}}{2}=\cosh t,\qquad t\in\R .
\] Verificare: \(M_X(0)=1\). Pentru o v.a. cu un număr finit de valori, f.g.m. este finită pentru orice \(t\), iar valorile și probabilitățile se citesc direct pe ea: coeficientul lui \(e^{tx}\) este \(\PP(X=x)\). Numele funcției va fi justificat de Teorema 32: derivatele ei în \(0\) sunt momentele lui \(X\); aici \(M_X'(0)=\sinh0=0=\E[X]\) și \(M_X''(0)=\cosh0=1=\E[X^2]\).
Exemplul 21(F.g.m. ale unor repartiții uzuale)
Fie \(q=1-p\).
Bernoulli și binomială.\(M(t)=q+pe^t\) pentru \(\Bern(p)\). Pentru \(\Bin(n,p)\), din binomul lui Newton, \[
M(t)=\sum_{k=0}^ne^{tk}\binom nkp^kq^{n-k}=\sum_{k=0}^n\binom nk(pe^t)^kq^{n-k}=(q+pe^t)^n,\qquad t\in\R .
\]
Poisson și geometrică. Din seria exponențialei cu argumentul \(\lambda e^t\), respectiv din seria geometrică de rație \(qe^t\) (convergentă dacă și numai dacă \(qe^t<1\), adică \(t<-\ln q\)), \[
\begin{aligned}
M_{\Pois(\lambda)}(t)&=\sum_{k\ge0}e^{tk}e^{-\lambda}\frac{\lambda^k}{k!}=e^{-\lambda}\sum_{k\ge0}\frac{(\lambda e^t)^k}{k!}=e^{\lambda(e^t-1)},&&t\in\R,\\
M_{\Geom(p)}(t)&=\sum_{k\ge1}e^{tk}q^{k-1}p=pe^t\sum_{k\ge1}(qe^t)^{k-1}=\frac{pe^t}{1-qe^t},&&t<-\ln q .
\end{aligned}
\]
Gamma și exponențială. Fie \(X\sim\GammaD(\alpha,\lambda)\). Pentru \(t<\lambda\) facem schimbarea de variabilă \(y=(\lambda-t)x\) (cu \(\lambda-t>0\)): \[
M(t)=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{\alpha-1}e^{-(\lambda-t)x}\dd x
=\frac{\lambda^\alpha}{(\lambda-t)^\alpha}\cdot\frac{1}{\Gamma(\alpha)}\int_0^\infty y^{\alpha-1}e^{-y}\dd y=\Big(\frac{\lambda}{\lambda-t}\Big)^{\alpha},
\] iar pentru \(t\ge\lambda\), \(M(t)=\infty\) (integrandul este cel puțin \(\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}\), care nu este integrabil la \(\infty\)). Pentru \(\Exp(\lambda)=\GammaD(1,\lambda)\): \(M(t)=\lambda/(\lambda-t)\), \(t<\lambda\). Pentru \(\Unif(a,b)\), \(M(t)=\frac{1}{b-a}\int_a^be^{tx}\dd x=\frac{e^{tb}-e^{ta}}{t(b-a)}\), \(t\ne0\).
Lema 31(F.g.m. a unei transformări afine)
Pentru orice v.a. \(X\) și \(a,b\in\R\), \(M_{a+bX}(t)=e^{at}M_X(bt)\), \(t\in\R\).
Demonstrație.\(e^{t(a+bX)}=e^{at}e^{(bt)X}\), iar \(e^{at}\) este o constantă; din liniaritatea mediei (valabilă și pentru v.a. nenegative cu medie infinită), \(M_{a+bX}(t)=e^{at}\E\big[e^{(bt)X}\big]=e^{at}M_X(bt)\).■
Exemplul 22(Repartiția normală)
Fie \(Z\sim\Norm(0,1)\). Completăm pătratul în exponent: \(tx-\frac{x^2}2=-\frac12\big(x^2-2tx+t^2\big)+\frac{t^2}2=\frac{t^2}2-\frac{(x-t)^2}2\). Deci, pentru orice \(t\in\R\), \[
M_Z(t)=\int_{\R}e^{tx}\frac{e^{-x^2/2}}{\sqrt{2\pi}}\dd x=e^{t^2/2}\int_{\R}\frac{1}{\sqrt{2\pi}}e^{-(x-t)^2/2}\dd x=e^{t^2/2},
\] ultima integrală fiind integrala densității \(\Norm(t,1)\), egală cu \(1\). Dacă \(X\sim\Norm(\mu,\sigma^2)\), atunci \(X\eqd\mu+\sigma Z\) (Propoziția 18) și, din Lema 31, \[
M_X(t)=e^{\mu t}M_Z(\sigma t)=e^{\mu t+\sigma^2t^2/2},\qquad t\in\R .
\]
Tabelul 3: Funcțiile generatoare de momente ale repartițiilor uzuale.
Nu orice v.a. admite f.g.m.: pentru repartiția Cauchy, \(M_X(t)=\infty\) pentru orice \(t\ne0\) (deoarece \(e^{tx}\ge tx\) pentru \(tx\ge0\), iar \(\int_0^\infty\frac{x\dd x}{\pi(1+x^2)}=\infty\), Exemplul 14(b)).
Teorema 32(Momentele prin derivatele f.g.m.)
Dacă \(M_X(t)<\infty\) pentru \(t\in(-h,h)\), \(h>0\), atunci \(\E|X|^k<\infty\) pentru orice \(k\in\N\), \(M_X\) este indefinit derivabilă pe \((-h,h)\), cu \(M_X^{(k)}(t)=\E\big[X^ke^{tX}\big]\), și \[
\E\big[X^k\big]=M_X^{(k)}(0),\qquad M_X(t)=\sum_{k\ge0}\frac{\E[X^k]}{k!}\,t^k\quad(|t|<h).
\]
Demonstrație.Ideea demonstrației. Derivăm sub semnul mediei: raportul incremental al funcției \(t\mapsto X^{k-1}e^{tX}\) tinde punctual la \(X^ke^{tX}\), iar trecerea la limită sub medie se justifică prin teorema convergenței dominate. Pentru aceasta avem nevoie de o v.a. integrabilă care majorează \(|X|^ke^{tX}\)uniform pentru \(t\) într-o vecinătate a punctului de derivare; o construim din \(e^{(t_0\pm2\delta)X}\), folosind faptul că exponențiala domină orice putere. Seria de puteri se obține la fel, din seria exponențialei.
Fie \(M=M_X\).
Pasul 1 (o majorare uniformă). Pentru \(k\in\N\) și \(\delta>0\), funcția \(y\mapsto y^ke^{-\delta y}\) este mărginită pe \([0,\infty)\): derivata ei, \(y^{k-1}e^{-\delta y}(k-\delta y)\), se anulează în \(y=k/\delta\), unde se atinge maximul \(C_{k,\delta}=\big(k/(\delta e)\big)^k\) (cu \(C_{0,\delta}=1\)). Fie \(t_0\in(-h,h)\) și \(\delta>0\) astfel încât \([t_0-2\delta,t_0+2\delta]\subset(-h,h)\), și fie \(|t-t_0|\le\delta\). Pentru \(x\ge0\), cum \(t+\delta\le t_0+2\delta\), \[
|x|^ke^{tx}=x^ke^{-\delta x}\,e^{(t+\delta)x}\le C_{k,\delta}\,e^{(t_0+2\delta)x},
\] iar pentru \(x<0\), cum \(t-\delta\ge t_0-2\delta\) și \(x<0\) (deci \((t-\delta)x\le(t_0-2\delta)x\)), \[
|x|^ke^{tx}=|x|^ke^{-\delta|x|}\,e^{(t-\delta)x}\le C_{k,\delta}\,e^{(t_0-2\delta)x}.
\] Așadar \[
\sup_{|t-t_0|\le\delta}|X|^ke^{tX}\le C_{k,\delta}\big(e^{(t_0+2\delta)X}+e^{(t_0-2\delta)X}\big)=:D_k,
\] iar, din liniaritatea mediei, \(\E[D_k]=C_{k,\delta}\big(M(t_0+2\delta)+M(t_0-2\delta)\big)<\infty\). Pentru \(t_0=t=0\) obținem \(\E|X|^k\le\E[D_k]<\infty\).
Pasul 2 (derivarea sub semnul mediei). Arătăm prin inducție după \(k\) că \(M^{(k)}(t)=\E[X^ke^{tX}]\) pentru orice \(t\in(-h,h)\); pentru \(k=0\) este definiția. Presupunem afirmația adevărată pentru \(k-1\) și fixăm \(t_0\) și \(\delta\) ca mai sus. Pentru \(0<|u|\le\delta\) și \(\omega\) fixat, teorema lui Lagrange aplicată funcției \(t\mapsto X^{k-1}e^{tX}\) (cu derivata \(X^ke^{tX}\)) dă \[
\frac{X^{k-1}e^{(t_0+u)X}-X^{k-1}e^{t_0X}}{u}=X^ke^{\xi X},\qquad \xi=\xi(\omega,u)\ \text{între}\ t_0\ \text{și}\ t_0+u .
\] Membrul drept este majorat în modul de \(D_k\) (deoarece \(|\xi-t_0|\le\delta\)), integrabilă, și tinde la \(X^ke^{t_0X}\) când \(u\to0\) (continuitatea exponențialei). Din ipoteza de inducție, media membrului stâng este \(\big(M^{(k-1)}(t_0+u)-M^{(k-1)}(t_0)\big)/u\); din convergența dominată (Propoziția 23(d)), aplicată pe orice șir \(u_n\to0\), \[
\frac{M^{(k-1)}(t_0+u)-M^{(k-1)}(t_0)}{u}\xrightarrow[u\to0]{}\E\big[X^ke^{t_0X}\big],
\] adică \(M^{(k)}(t_0)\) există și este egală cu \(\E[X^ke^{t_0X}]\). Pentru \(t_0=0\), \(M^{(k)}(0)=\E[X^k]\).
Pasul 3 (seria de puteri). Fie \(|t|<h\) și \(S_N=\sum_{k=0}^Nt^kX^k/k!\) sumele parțiale ale seriei exponențialei; pentru fiecare \(\omega\), \(S_N(\omega)\to e^{tX(\omega)}\). Ele sunt majorate în modul, uniform în \(N\), de \[
|S_N|\le\sum_{k\ge0}\frac{|tX|^k}{k!}=e^{|tX|}\le e^{tX}+e^{-tX},
\] o v.a. cu media \(M(t)+M(-t)<\infty\) (și \(-t\in(-h,h)\)). Din convergența dominată (Propoziția 23(d)), \(\E[S_N]\to\E[e^{tX}]=M(t)\), iar din liniaritatea mediei pentru sume finite (momentele sunt finite, din Pasul 1), \(\E[S_N]=\sum_{k=0}^N\E[X^k]\,t^k/k!\). Deci seria \(\sum_{k\ge0}\E[X^k]\,t^k/k!\) converge și are suma \(M(t)\).
Concluzie. Am arătat că toate momentele sunt finite (Pasul 1), că \(M\) este indefinit derivabilă pe \((-h,h)\), cu \(M^{(k)}(t)=\E[X^ke^{tX}]\) și, în particular, \(M^{(k)}(0)=\E[X^k]\) (Pasul 2), și că \(M\) este suma seriei sale Taylor în \(0\) pe \((-h,h)\) (Pasul 3).■
Geometrică. Derivând de două ori \(M(t)=pe^t(1-qe^t)^{-1}\), \(t<-\ln q\), \[
\begin{aligned}
M'(t)&=\frac{pe^t(1-qe^t)+pe^t\,qe^t}{(1-qe^t)^2}=\frac{pe^t}{(1-qe^t)^2},\\
M''(t)&=\frac{pe^t(1-qe^t)+2pe^t\,qe^t}{(1-qe^t)^3}=\frac{pe^t(1+qe^t)}{(1-qe^t)^3}.
\end{aligned}
\] În \(t=0\), cu \(1-q=p\), Teorema 32 dă \(\E[X]=M'(0)=\frac1p\) și \(\E[X^2]=M''(0)=\frac{1+q}{p^2}\), deci \(\Var(X)=\frac{1+q}{p^2}-\frac1{p^2}=\frac{1-p}{p^2}\).
Exponențială. Pentru \(X\sim\Exp(\lambda)\) și \(|t|<\lambda\), seria geometrică dă \(M(t)=\frac{\lambda}{\lambda-t}=\frac{1}{1-t/\lambda}=\sum_{k\ge0}\frac{t^k}{\lambda^k}\). Comparând cu seria din Teorema 32, \(\frac{\E[X^k]}{k!}=\frac1{\lambda^k}\), adică \(\E[X^k]=\frac{k!}{\lambda^k}\), ca în Exemplul 16: toate momentele, fără nicio integrală.
Normală. Comparând seria \(M_Z(t)=e^{t^2/2}=\sum_{j\ge0}\frac{t^{2j}}{2^jj!}\) cu seria din Teorema 32 (coeficienții unei serii de puteri sunt unici), obținem \(\E[Z^{2j+1}]=0\) și \[
\E[Z^{2j}]=\frac{(2j)!}{2^jj!}=1\cdot3\cdot5\cdots(2j-1);\qquad \E[Z^2]=1,\ \ \E[Z^4]=3,\ \ \E[Z^6]=15 .
\]
Cea mai importantă proprietate a f.g.m. este că determină repartiția.
Teorema 33(Unicitatea f.g.m.)
Fie \(X\) și \(Y\) două v.a. care admit f.g.m. Dacă există \(h>0\) astfel încât \(M_X(t)=M_Y(t)\) pentru orice \(t\in(-h,h)\), atunci \(X\) și \(Y\) au aceeași repartiție: \(F_X=F_Y\).
Demonstrația generală folosește proprietățile funcțiilor analitice și depășește cadrul cursului; o admitem (Billingsley 1995, sec. 30; Casella and Berger 2002, sec. 2.3). Cu mijloacele cursului demonstrăm complet, în Secțiunea 11.4, două cazuri particulare: cel al v.a. cu un număr finit de valori și cel al v.a. nenegative (Propoziția 67). Intuiția este dată de Teorema 32: pe \((-h,h)\), \(M_X\) este suma seriei \(\sum_k\E[X^k]t^k/k!\), deci egalitatea f.g.m. înseamnă egalitatea tuturor momentelor (coeficienții unei serii de puteri sunt unici); condiția ca f.g.m. să fie finită lângă \(0\) împiedică momentele să crească prea repede, iar atunci ele determină repartiția. În practică, teorema se folosește pentru a recunoaște o repartiție după f.g.m.: dacă \(M_X(t)=(0.3+0.7e^t)^5\), atunci \(X\sim\Bin(5,0.7)\) (Tabelul 3); dacă \(M_X(t)=e^{2t+8t^2}\) pentru orice \(t\), atunci \(X\sim\Norm(2,16)\).
Exemplul 24(Recunoașterea repartiției după f.g.m.)
În fiecare caz aducem f.g.m. la una dintre formele din Tabelul 3 și citim parametrii; concluzia se sprijină pe Teorema 33.
\(M_X(t)=e^{3(e^t-1)}\), \(t\in\R\): forma Poisson cu \(\lambda=3\), deci \(X\sim\Pois(3)\). De aici obținem orice probabilitate, de exemplu \(\PP(X=2)=e^{-3}\frac{3^2}{2!}\approx0.2240\), precum și \(\E[X]=\Var(X)=3\).
\(M_X(t)=(1-3t)^{-2}\), \(t<\frac13\). Scriem \(\frac{1}{1-3t}=\frac{1/3}{1/3-t}\): forma Gamma cu \(\lambda=\frac13\) și \(\alpha=2\), deci \(X\sim\GammaD(2,\frac13)\), cu \(\E[X]=\frac{\alpha}{\lambda}=6\) și \(\Var(X)=\frac{\alpha}{\lambda^2}=18\). Verificare cu Teorema 32: \(M_X'(t)=6(1-3t)^{-3}\) și \(M_X''(t)=54(1-3t)^{-4}\), deci \(\E[X]=M_X'(0)=6\), \(\E[X^2]=M_X''(0)=54\) și \(\Var(X)=54-36=18\).
O transformare afină. Fie \(X\sim\Norm(1,4)\) și \(Y=3-2X\). Din Lema 31 (cu \(a=3\), \(b=-2\)) și Exemplul 22, \[
M_Y(t)=e^{3t}M_X(-2t)=e^{3t}\cdot e^{1\cdot(-2t)+4\cdot(-2t)^2/2}=e^{t+8t^2}=e^{1\cdot t+16\,t^2/2},
\] deci \(Y\sim\Norm(1,16)\), în acord cu Propoziția 18(b): media \(3-2\cdot1=1\) și varianța \((-2)^2\cdot4=16\).
7 Vectori aleatori
Un eșantion \(X_1,\dots,X_n\) este un vector aleator, iar proprietățile statisticilor depind de repartiția comună a componentelor, nu doar de repartițiile lor individuale. Extindem deci noțiunile anterioare la vectori (Knight 2000, secs. 2.1–2.2; Casella and Berger 2002, cap. 4; Jacod and Protter 2004, cap. 10 și 12).
7.1 Repartiția comună și repartițiile marginale
Un vector aleator este o funcție măsurabilă cu valori în \(\R^p\) (un element aleator al lui \(\R^p\), în sensul Definiției 11); echivalent, fiecare componentă a lui este o v.a. (Secțiunea 11.1).
Definiția 34(Vector aleator)
O funcție \(\bX=(X_1,\dots,X_p):\Omega\to\R^p\) se numește vector aleator dacă este măsurabilă în raport cu \(\F\) și \(\B(\R^p)\), adică \(\bX^{-1}(B)\in\F\) pentru orice \(B\in\B(\R^p)\). Repartiția lui \(\bX\) este \(\PP_{\bX}(B)=\PP(\bX\in B)\), \(B\in\B(\R^p)\), iar funcția de repartiție comună este \(F_{\bX}(x_1,\dots,x_p)=\PP(X_1\le x_1,\dots,X_p\le x_p)\).
\(\bX\) este discret dacă ia un număr cel mult numărabil de valori; funcția de masă comună este \(p_{\bX}(\bx)=\PP(\bX=\bx)\) și \(\PP(\bX\in B)=\sum_{\bx\in B}p_{\bX}(\bx)\).
\(\bX\) este continuu dacă există \(f_{\bX}:\R^p\to[0,\infty)\), numită densitate comună, cu \[
F_{\bX}(x_1,\dots,x_p)=\int_{-\infty}^{x_1}\!\!\cdots\int_{-\infty}^{x_p}f_{\bX}(t_1,\dots,t_p)\dd t_p\cdots\dd t_1\qquad\text{pentru orice }(x_1,\dots,x_p).
\] Atunci \(\PP(\bX\in B)=\int_Bf_{\bX}(\bx)\dd\bx\) pentru orice borelian \(B\subseteq\R^p\) (admis), iar \(\frac{\partial^pF_{\bX}}{\partial x_1\cdots\partial x_p}=f_{\bX}\) în punctele de continuitate ale lui \(f_{\bX}\).
Exemplul 25(Trei vectori aleatori)
Uniforma pe un dreptunghi: \((X,Y)\) are densitatea \(f(x,y)=\frac12\) pe \(D=[0,1]\times[0,2]\) și \(0\) în rest. (b) Uniforma pe un triunghi: \((X,Y)\) are densitatea \(f(x,y)=2\) pe \(T=\{(x,y):\ 0<y<x<1\}\) (de arie \(\frac12\)) și \(0\) în rest. (c) Repartiția multinomială\(\Multin(n;p_1,\dots,p_k)\) a numerelor \((N_1,\dots,N_k)\) de apariții ale celor \(k\) rezultate posibile, de probabilități \(p_1,\dots,p_k\), în \(n\) repetări independente ale unui experiment: \(\PP(N_1=n_1,\dots,N_k=n_k)=\frac{n!}{n_1!\cdots n_k!}\,p_1^{n_1}\cdots p_k^{n_k}\) pentru \(n_1+\dots+n_k=n\).
Repartițiile componentelor unui vector se numesc repartiții marginale; ele se obțin din repartiția comună „sumând” sau „integrând” celelalte variabile.
Propoziția 36(Repartiții marginale)
Fie \((X,Y)\) un vector aleator. Atunci \(F_X(x)=\lim_{y\to\infty}F_{(X,Y)}(x,y)\). Dacă \((X,Y)\) este discret, \(p_X(x)=\sum_yp_{(X,Y)}(x,y)\); dacă \((X,Y)\) este continuu, \(X\) este continuă, cu densitatea \[
f_X(x)=\int_{\R}f_{(X,Y)}(x,y)\dd y .
\] Analog pentru \(Y\) și pentru vectori cu mai multe componente.
Demonstrație.Ideea demonstrației. Un eveniment despre \(X\) singur este un eveniment despre \((X,Y)\) în care \(Y\) este lăsat liber; îl scriem ca reuniune (crescătoare, respectiv disjunctă) și aplicăm continuitatea, respectiv \(\sigma\)-aditivitatea probabilității, iar în cazul continuu teorema lui Fubini.
Funcția de repartiție. Evenimentele \(\{X\le x,Y\le n\}\) cresc odată cu \(n\), iar reuniunea lor este \(\{X\le x\}\) (orice \(Y(\omega)\) este \(\le n\) pentru \(n\) suficient de mare); din continuitatea probabilității (Propoziția 3(f)), \(F_{(X,Y)}(x,n)\to F_X(x)\). Cum \(y\mapsto F_{(X,Y)}(x,y)\) este crescătoare (monotonia probabilității), limita când \(y\to\infty\) există și coincide cu limita pe șirul \(y=n\).
Cazul discret. Dacă \(Y\) ia valorile \(y_1,y_2,\dots\), atunci \(\{X=x\}=\bigcup_j\{X=x,Y=y_j\}\), reuniune disjunctă cel mult numărabilă (la care se adaugă un eveniment de probabilitate \(0\)), deci, din \(\sigma\)-aditivitate, \(p_X(x)=\sum_jp_{(X,Y)}(x,y_j)\).
Cazul continuu. Evenimentul \(\{X\le x\}\) este \(\{(X,Y)\in B\}\), cu \(B=(-\infty,x]\times\R\). Din Definiția 35(b) și din teorema lui Fubini pentru funcții nenegative (integrala dublă se calculează ca integrală iterată, în orice ordine), \[
F_X(x)=\PP\big((X,Y)\in B\big)=\iint_{(-\infty,x]\times\R}f_{(X,Y)}(s,t)\dd s\dd t=\int_{-\infty}^x\Big(\int_{\R}f_{(X,Y)}(s,t)\dd t\Big)\dd s .
\] Așadar \(F_X\) este integrala de la \(-\infty\) la \(x\) a funcției nenegative \(s\mapsto\int_{\R}f_{(X,Y)}(s,t)\dd t\), care este deci, prin definiție, o densitate a lui \(X\). (Teorema lui Fubini este un rezultat de teoria integralei, pe care îl folosim fără demonstrație (Billingsley 1995, sec. 18).)
Pentru \(Y\) schimbăm rolurile celor două variabile (\(B=\R\times(-\infty,y]\) și integrăm întâi după \(s\)): \(f_Y(y)=\int_{\R}f_{(X,Y)}(x,y)\dd x\). Pentru un vector cu \(p\) componente, aceleași argumente arată că masa (densitatea) unui subvector se obține sumând (integrând) masa (densitatea) comună după toate celelalte variabile.■
În Exemplul 25: (a) \(f_X(x)=\int_0^2\frac12\dd y=1\) pe \([0,1]\) și \(f_Y(y)=\int_0^1\frac12\dd x=\frac12\) pe \([0,2]\), adică \(X\sim\Unif(0,1)\) și \(Y\sim\Unif(0,2)\); (b) \(f_X(x)=\int_0^x2\dd y=2x\) și \(f_Y(y)=\int_y^12\dd x=2(1-y)\) pe \((0,1)\); (c) \(N_1\sim\Bin(n,p_1)\). Repartițiile marginale nu determină repartiția comună: densitatea \(g(x,y)=2x\cdot2(1-y)\) pe \([0,1]^2\) are aceleași marginale ca în (b), dar este o altă repartiție.
Exemplul 26(Un tabel de repartiție comună)
Aruncăm de trei ori o monedă echilibrată; fie \(X\) numărul de capete din primele două aruncări și \(Y\) numărul de capete din ultimele două. Cele \(8\) rezultate sunt egal probabile, iar perechea \((X,Y)\) ia valorile \((2,2)\) pentru \(CCC\), \((2,1)\) pentru \(CCP\), \((1,1)\) pentru \(CPC\) și \(PCP\), \((1,0)\) pentru \(CPP\), \((1,2)\) pentru \(PCC\), \((0,1)\) pentru \(PPC\) și \((0,0)\) pentru \(PPP\). Funcția de masă comună se așază într-un tabel, iar repartițiile marginale (Propoziția 36) sunt sumele pe linii, respectiv pe coloane (de unde și numele lor: se scriu pe marginea tabelului): \[
\begin{array}{c|ccc|c}
& y=0 & y=1 & y=2 & p_X(x)\\ \hline
x=0 & 1/8 & 1/8 & 0 & 1/4\\
x=1 & 1/8 & 2/8 & 1/8 & 1/2\\
x=2 & 0 & 1/8 & 1/8 & 1/4\\ \hline
p_Y(y) & 1/4 & 1/2 & 1/4 & 1
\end{array}
\] Fiecare marginală este \(\Bin(2,\frac12)\), cum era de așteptat. Probabilitățile evenimentelor care privesc ambele variabile se citesc însă numai din interiorul tabelului: de exemplu, \(\PP(X=Y)=\frac18+\frac28+\frac18=\frac12\) și \(\PP(X<Y)=\frac18+\frac18=\frac14\). Vom reveni la acest tabel pentru independență și covarianță (Exemplul 28).
7.2 Independența variabilelor aleatoare
Independența evenimentelor (Definiția 9) se transferă la v.a. cerând independența tuturor evenimentelor determinate de ele.
Definiția 37(Variabile aleatoare independente)
V.a. \(X_1,\dots,X_n\) sunt independente dacă \[
F_{(X_1,\dots,X_n)}(x_1,\dots,x_n)=F_{X_1}(x_1)\cdots F_{X_n}(x_n)\qquad\text{pentru orice }(x_1,\dots,x_n)\in\R^n .
\] Echivalent (admis (Jacod and Protter 2004, cap. 10)), \(\PP(X_1\in B_1,\dots,X_n\in B_n)=\prod_i\PP(X_i\in B_i)\) pentru orice boreliene \(B_1,\dots,B_n\): evenimentele determinate de v.a. diferite sunt independente. Cu această a doua relație (și \(B_i\) boreliene din spațiile corespunzătoare) se definește independența unor vectori aleatori. Un șir \((X_n)_{n\ge1}\) este format din v.a. independente dacă orice subfamilie finită este independentă; dacă, în plus, toate au aceeași repartiție, spunem că sunt independente și identic repartizate (i.i.d.).
Propoziția 38(Criteriul de factorizare)
Dacă \((X_1,\dots,X_n)\) este discret, v.a. \(X_1,\dots,X_n\) sunt independente dacă și numai dacă \(p_{(X_1,\dots,X_n)}(x_1,\dots,x_n)=\prod_ip_{X_i}(x_i)\) pentru orice \(x_1,\dots,x_n\).
Dacă \(X_1,\dots,X_n\) au densitățile \(f_{X_1},\dots,f_{X_n}\), ele sunt independente dacă și numai dacă vectorul \((X_1,\dots,X_n)\) are densitatea \(\prod_if_{X_i}(x_i)\).
Fie \(U\) și \(V\) vectori aleatori (de dimensiuni \(p\), respectiv \(q\)) astfel încât \((U,V)\) are densitatea \(f(u,v)=a(u)\,b(v)\) pentru orice \((u,v)\in\R^p\times\R^q\), cu \(a,b\ge0\) boreliene. Atunci \(U\) și \(V\) sunt independenți, iar densitățile lor sunt \(f_U=c_b\,a\) și \(f_V=c_a\,b\), unde \(c_a=\int a\) și \(c_b=\int b\) (cu \(c_ac_b=1\)).
Demonstrație.Ideea demonstrației. Factorizarea funcției de masă (a densității) se transmite funcției de repartiție comune prin însumare (integrare) variabilă cu variabilă, și reciproc.
„\(\Rightarrow\)”: dacă v.a. sunt independente, luăm \(B_i=\{x_i\}\) în forma echivalentă a Definiției 37: \(p_{(X_1,\dots,X_n)}(x_1,\dots,x_n)=\PP(X_1\in\{x_1\},\dots,X_n\in\{x_n\})=\prod_i\PP(X_i=x_i)\). „\(\Leftarrow\)”: dacă masa comună se factorizează, atunci, sumând pe valorile \(y_i\le x_i\) ale lui \(X_i\) (seriile au termeni nenegativi, deci pot fi sumate în orice ordine, iar suma multiplă a unui produs de factori care depind fiecare de un singur indice este produsul sumelor), \[
F_{(X_1,\dots,X_n)}(x_1,\dots,x_n)=\sum_{y_1\le x_1}\cdots\sum_{y_n\le x_n}\prod_ip_{X_i}(y_i)=\prod_i\sum_{y_i\le x_i}p_{X_i}(y_i)=\prod_iF_{X_i}(x_i),
\] adică v.a. sunt independente (Definiția 37).
Pentru orice \((x_1,\dots,x_n)\), din teorema lui Fubini (integrala multiplă a unui produs de funcții nenegative care depind fiecare de o singură variabilă este produsul integralelor), \[
\int_{-\infty}^{x_1}\!\!\cdots\int_{-\infty}^{x_n}\prod_if_{X_i}(t_i)\dd t_n\cdots\dd t_1=\prod_i\int_{-\infty}^{x_i}f_{X_i}(t_i)\dd t_i=\prod_iF_{X_i}(x_i).\qquad(\ast)
\] „\(\Leftarrow\)”: dacă vectorul are densitatea \(\prod_if_{X_i}\), membrul stâng din \((\ast)\) este \(F_{(X_1,\dots,X_n)}(x_1,\dots,x_n)\) (Definiția 35(b)), deci \(F_{(X_1,\dots,X_n)}=\prod_iF_{X_i}\): v.a. sunt independente. „\(\Rightarrow\)”: dacă v.a. sunt independente, atunci \(F_{(X_1,\dots,X_n)}(x_1,\dots,x_n)=\prod_iF_{X_i}(x_i)\), care, din \((\ast)\), este integrala funcției \(\prod_if_{X_i}\) pe \((-\infty,x_1]\times\dots\times(-\infty,x_n]\); din Definiția 35(b), vectorul este continuu, cu densitatea \(\prod_if_{X_i}\).
Notăm cu \(\int a\) și \(\int b\) integralele pe \(\R^p\), respectiv pe \(\R^q\). Constantele. Integrandul \(a(u)b(v)\) este nenegativ, deci, din teorema lui Fubini pentru funcții nenegative, integrala densității comune se calculează iterat: \[
1=\iint a(u)\,b(v)\dd u\dd v=\int\Big(\int a(u)\dd u\Big)b(v)\dd v=\int a(u)\dd u\cdot\int b(v)\dd v=c_ac_b .
\] Produsul \(c_ac_b\) fiind \(1\), niciuna dintre constante nu este \(0\) sau \(+\infty\) (altfel produsul ar fi \(0\) sau \(+\infty\)), deci \(c_a,c_b\in(0,\infty)\). Marginalele. Din Propoziția 36, aplicată subvectorilor \(U\) și \(V\) ai vectorului \((U,V)\), \[
f_U(u)=\int f(u,v)\dd v=a(u)\int b(v)\dd v=c_b\,a(u),\qquad f_V(v)=\int f(u,v)\dd u=c_a\,b(v).
\]Independența. Din cele de mai sus, \(f_U(u)f_V(v)=c_ac_b\,a(u)b(v)=a(u)b(v)=f(u,v)\) pentru orice \((u,v)\). Pentru boreliene \(C\subseteq\R^p\) și \(D\subseteq\R^q\), probabilitatea ca \((U,V)\) să aparțină mulțimii \(C\times D\) este integrala densității comune pe această mulțime (Definiția 35(b)); din nou din teorema lui Fubini, \[
\begin{aligned}
\PP(U\in C,\ V\in D)&=\int_C\Big(\int_Df_U(u)f_V(v)\dd v\Big)\dd u=\int_Cf_U(u)\dd u\cdot\int_Df_V(v)\dd v\\
&=\PP(U\in C)\,\PP(V\in D),
\end{aligned}
\] adică \(U\) și \(V\) sunt independenți (Definiția 37, în forma cu mulțimi boreliene).
■
Vezi și (Jacod and Protter 2004, cap. 12; Hogg et al. 2019, sec. 2.4). Punctul (c) permite citirea independenței direct din forma densității comune, care trebuie să fie un produs pe tot spațiul (indicatorii domeniilor fac parte din factori): în Exemplul 25(a), \(f(x,y)=\Ind_{[0,1]}(x)\cdot\frac12\Ind_{[0,2]}(y)\), deci \(X\) și \(Y\) sunt independente; în (b) nu sunt, deoarece \(\PP(X\le0.3,\ Y>0.6)=0\ne\PP(X\le0.3)\,\PP(Y>0.6)\). Din (b), densitatea comună a unui eșantion\(X_1,\dots,X_n\) i.i.d. cu densitatea \(f\) este \(\prod_{i=1}^nf(x_i)\); de exemplu, pentru o populație \(\Exp(\lambda)\), \(\lambda^ne^{-\lambda\sum_ix_i}\) pe \((0,\infty)^n\). Această formulă stă la baza metodei verosimilității maxime (Cursul 9).
Propoziția 39(Funcții de variabile independente)
Dacă \(X_1,\dots,X_n\) sunt independente și \(g_1,\dots,g_n:\R\to\R\) sunt boreliene, atunci \(g_1(X_1),\dots,g_n(X_n)\) sunt independente. Mai general, funcții (boreliene) de blocuri disjuncte de v.a. independente sunt independente; de exemplu, dacă \(X_1,\dots,X_5\) sunt independente, atunci \(X_1+X_2^2\), \(\max(X_3,X_4)\) și \(e^{X_5}\) sunt independente.
Demonstrație.Funcții de câte o variabilă. Folosim forma echivalentă a Definiției 37: pentru boreliene \(B_1,\dots,B_n\), mulțimile \(g_i^{-1}(B_i)\) sunt boreliene (\(g_i\) fiind funcții boreliene), iar \(\{g_i(X_i)\in B_i\}=\{X_i\in g_i^{-1}(B_i)\}\), deci \[
\begin{aligned}
\PP\big(g_1(X_1)\in B_1,\dots,g_n(X_n)\in B_n\big)&=\PP\big(X_1\in g_1^{-1}(B_1),\dots,X_n\in g_n^{-1}(B_n)\big)\\
&=\prod_i\PP\big(X_i\in g_i^{-1}(B_i)\big)=\prod_i\PP\big(g_i(X_i)\in B_i\big).
\end{aligned}
\]
Funcții de blocuri. Scriem argumentul pentru două blocuri, \(\bX'=(X_1,\dots,X_k)\) și \(\bX''=(X_{k+1},\dots,X_n)\); pentru mai multe blocuri el este același. Afirmația are două părți.
Vectorii \(\bX'\) și \(\bX''\) sunt independenți, adică \(\PP(\bX'\in C,\ \bX''\in D)=\PP(\bX'\in C)\,\PP(\bX''\in D)\) pentru orice boreliene \(C\subseteq\R^k\) și \(D\subseteq\R^{n-k}\). Pentru „dreptunghiuri” \(C=B_1\times\dots\times B_k\) și \(D=B_{k+1}\times\dots\times B_n\), relația rezultă din definiție: luând \(B_{k+1}=\dots=B_n=\R\) în forma echivalentă a Definiției 37, \(\PP(\bX'\in C)=\prod_{i\le k}\PP(X_i\in B_i)\), la fel \(\PP(\bX''\in D)=\prod_{i>k}\PP(X_i\in B_i)\), iar \[
\begin{aligned}
\PP(\bX'\in C,\ \bX''\in D)&=\PP(X_1\in B_1,\dots,X_n\in B_n)=\prod_{i=1}^n\PP(X_i\in B_i)\\
&=\prod_{i\le k}\PP(X_i\in B_i)\cdot\prod_{i>k}\PP(X_i\in B_i)=\PP(\bX'\in C)\,\PP(\bX''\in D).
\end{aligned}
\] Trecerea de la dreptunghiuri la boreliene oarecare nu se poate face la fel de simplu (un eveniment \(\{(X_1,X_2)\in C\}\), cu \(C\subseteq\R^2\) borelian oarecare, nu este de forma \(\{X_1\in B_1,\ X_2\in B_2\}\)); ea folosește teorema \(\pi\)–\(\lambda\) a lui Dynkin, un instrument de teoria măsurii, și este admisă(Durrett 2019, sec. 2.1; Billingsley 1995, sec. 20).
Funcții boreliene de vectori independenți sunt independente. Dacă \(g:\R^k\to\R\) și \(h:\R^{n-k}\to\R\) sunt boreliene, atunci, exact ca în prima parte, \(\{g(\bX')\in B\}=\{\bX'\in g^{-1}(B)\}\) și \(\{h(\bX'')\in B'\}=\{\bX''\in h^{-1}(B')\}\), cu \(g^{-1}(B)\) și \(h^{-1}(B')\) boreliene, deci, din (i), \[
\begin{aligned}
\PP\big(g(\bX')\in B,\ h(\bX'')\in B'\big)&=\PP\big(\bX'\in g^{-1}(B),\ \bX''\in h^{-1}(B')\big)\\
&=\PP\big(\bX'\in g^{-1}(B)\big)\,\PP\big(\bX''\in h^{-1}(B')\big)\\
&=\PP\big(g(\bX')\in B\big)\,\PP\big(h(\bX'')\in B'\big).
\end{aligned}
\]
■
7.3 Media produsului. Covarianța și corelația
Formula de transport (Teorema 22) se extinde la vectori (Billingsley 1995, sec. 21): pentru \(g:\R^2\to\R\) boreliană, \[
\begin{aligned}
\E[g(X,Y)]&=\sum_{x,y}g(x,y)\,p_{(X,Y)}(x,y),\qquad\text{respectiv}\\
\E[g(X,Y)]&=\iint_{\R^2}g(x,y)f_{(X,Y)}(x,y)\dd x\dd y,
\end{aligned}
\tag{8}\] cu condiția de convergență absolută. În cazul discret, demonstrația este cea a Teoremei 22, cu perechile \((x,y)\) de valori ale lui \((X,Y)\) în locul valorilor \(x_i\): v.a. \(W=g(X,Y)\) este discretă, cu \(\PP(W=w)=\sum_{(x,y):\,g(x,y)=w}p_{(X,Y)}(x,y)\), iar seria absolut convergentă \(\sum_{x,y}g(x,y)\,p_{(X,Y)}(x,y)\) se sumează pe blocurile \(\{(x,y):\ g(x,y)=w\}\), ceea ce dă \(\sum_ww\,\PP(W=w)=\E[W]\). În cazul continuu, formula se admite, ca în Teorema 22.
Propoziția 40(Media produsului de variabile independente)
Dacă \(X\) și \(Y\) sunt independente și au medie, atunci \(XY\) are medie și \(\E[XY]=\E[X]\,\E[Y]\). Mai general, \(\E[g(X)h(Y)]=\E[g(X)]\,\E[h(Y)]\) pentru orice funcții boreliene \(g,h\) pentru care mediile din membrul drept există; relația are loc și pentru \(g,h\ge0\) cu medii eventual infinite.
Demonstrație.Ideea demonstrației. Independența înseamnă că masa (densitatea) comună este produsul celor marginale, iar suma (integrala) dublă a unui produs de funcții de câte o variabilă este produsul sumelor (integralelor).
Cazul continuu. Densitatea comună este \(f_X(x)f_Y(y)\) (Propoziția 38(b)). Întâi pentru \(|g|\) și \(|h|\): din (8) și teorema lui Fubini pentru funcții nenegative, \[
\begin{aligned}
\E\big|g(X)h(Y)\big|&=\iint|g(x)|\,|h(y)|\,f_X(x)f_Y(y)\dd x\dd y\\
&=\int|g(x)|f_X(x)\dd x\cdot\int|h(y)|f_Y(y)\dd y=\E|g(X)|\cdot\E|h(Y)|<\infty ,
\end{aligned}
\] deci \(g(X)h(Y)\) are medie, iar integrala dublă de mai jos converge absolut. Teorema lui Fubini se aplică atunci și integrandului cu semn: \[
\begin{aligned}
\E[g(X)h(Y)]&=\iint g(x)h(y)f_X(x)f_Y(y)\dd x\dd y\\
&=\int g(x)f_X(x)\dd x\cdot\int h(y)f_Y(y)\dd y=\E[g(X)]\,\E[h(Y)].
\end{aligned}
\] Pentru \(g,h\ge0\) primul calcul (fără module) arată că relația are loc și când unele medii sunt infinite.
Cazul discret. Masa comună este \(p_X(x)p_Y(y)\) (Propoziția 38(a)). Seria dublă cu termeni nenegativi \(\sum_{x,y}|g(x)||h(y)|p_X(x)p_Y(y)\) se poate suma întâi după \(y\), apoi după \(x\), și este egală cu \(\sum_x|g(x)|p_X(x)\cdot\sum_y|h(y)|p_Y(y)=\E|g(X)|\cdot\E|h(Y)|<\infty\); seria fiind deci absolut convergentă, o putem suma în aceeași ordine și fără module: \[
\E[g(X)h(Y)]=\sum_x\sum_yg(x)h(y)\,p_X(x)p_Y(y)=\sum_xg(x)p_X(x)\cdot\sum_yh(y)p_Y(y)=\E[g(X)]\,\E[h(Y)].
\]
Prima afirmație este cazul \(g(x)=x\), \(h(y)=y\). Cazul general (\(X\), \(Y\) independente oarecare) se obține prin aproximare cu v.a. discrete și trecere la limită în integrala Lebesgue; îl admitem (Jacod and Protter 2004, cap. 10; Billingsley 1995, sec. 21).■
Definiția 41(Covarianța și coeficientul de corelație)
Fie \(X\), \(Y\) cu \(\E[X^2],\E[Y^2]<\infty\). Covarianța lor este \(\Cov(X,Y)=\E\big[(X-\E X)(Y-\E Y)\big]\) (bine definită, din inegalitatea Cauchy–Schwarz), iar, dacă \(\Var(X),\Var(Y)>0\), coeficientul de corelație este \(\rho(X,Y)=\Corr(X,Y)=\dfrac{\Cov(X,Y)}{\sqrt{\Var(X)\Var(Y)}}\). Dacă \(\Cov(X,Y)=0\), spunem că \(X\) și \(Y\) sunt necorelate.
Propoziția 42(Proprietățile covarianței)
Fie \(X,Y,X_1,\dots,X_n,Y_1,\dots,Y_m\) v.a. cu momente de ordin doi finite și \(a_i,b_j,c,d\in\R\).
\(\Cov(X,Y)=\E[XY]-\E[X]\E[Y]\), \(\Cov(X,Y)=\Cov(Y,X)\) și \(\Cov(X,X)=\Var(X)\).
Dacă \(X\) și \(Y\) sunt independente, atunci \(\Cov(X,Y)=0\); dacă \(X_1,\dots,X_n\) sunt necorelate două câte două (în particular, independente), \(\Var\big(\sum_iX_i\big)=\sum_i\Var(X_i)\).
\(|\rho(X,Y)|\le1\), iar \(|\rho(X,Y)|=1\) dacă și numai dacă există \(a,b\in\R\), \(b\ne0\), cu \(Y=a+bX\) a.s.; atunci \(\rho(X,Y)\) are semnul lui \(b\).
Demonstrație.Ideea demonstrației. (a)–(d) rezultă din liniaritatea mediei (Propoziția 23), dezvoltând produsele; (e) este inegalitatea Cauchy–Schwarz aplicată variabilelor centrate, cu cazul ei de egalitate. Toate mediile care apar există: din inegalitatea Cauchy–Schwarz (Propoziția 27), produsul a două v.a. cu momente de ordin doi finite are medie.
Dezvoltăm produsul și luăm media termen cu termen (\(\E X\) și \(\E Y\) sunt constante): \[
\E\big[(X-\E X)(Y-\E Y)\big]=\E[XY]-\E X\,\E Y-\E X\,\E Y+\E X\,\E Y=\E[XY]-\E X\,\E Y .
\] Simetria rezultă din comutativitatea produsului, \((X-\E X)(Y-\E Y)=(Y-\E Y)(X-\E X)\), iar \(\Cov(X,X)=\E[(X-\E X)^2]=\Var(X)\), din definiția varianței.
Fie \(U=\sum_ia_iX_i+c\) și \(V=\sum_jb_jY_j+d\). Din liniaritate, \(\E U=\sum_ia_i\E X_i+c\), deci \(U-\E U=\sum_ia_i(X_i-\E X_i)\) (constanta \(c\) se reduce), și la fel \(V-\E V=\sum_jb_j(Y_j-\E Y_j)\). Înmulțim cele două sume finite și luăm media termen cu termen: \[
\Cov(U,V)=\E\Big[\sum_i\sum_ja_ib_j(X_i-\E X_i)(Y_j-\E Y_j)\Big]=\sum_i\sum_ja_ib_j\,\Cov(X_i,Y_j).
\]
Din (b) cu \(Y_j=X_j\), \(a_i=b_j=1\) și \(c=d=0\): \(\Var\big(\sum_iX_i\big)=\Cov\big(\sum_iX_i,\sum_jX_j\big)=\sum_i\sum_j\Cov(X_i,X_j)\). Cei \(n\) termeni cu \(i=j\) sunt varianțele \(\Cov(X_i,X_i)=\Var(X_i)\), iar termenii cu \(i\ne j\) apar în perechi egale, \(\Cov(X_i,X_j)=\Cov(X_j,X_i)\), deci suma lor este \(2\sum_{i<j}\Cov(X_i,X_j)\).
Din Propoziția 40, pentru \(X\) și \(Y\) independente, \(\E[XY]=\E X\,\E Y\), deci \(\Cov(X,Y)=0\), din (a). Dacă \(\Cov(X_i,X_j)=0\) pentru orice \(i\ne j\), suma dublă din (c) este nulă și \(\Var\big(\sum_iX_i\big)=\sum_i\Var(X_i)\).
Fie \(U=Y-\E Y\) și \(V=X-\E X\), cu \(\E[U^2]=\Var(Y)\), \(\E[V^2]=\Var(X)\) și \(\E[UV]=\Cov(X,Y)\). Inegalitatea Cauchy–Schwarz, \((\E[UV])^2\le\E[U^2]\,\E[V^2]\), se scrie \(\Cov(X,Y)^2\le\Var(X)\Var(Y)\), adică \(\rho(X,Y)^2\le1\). Cazul de egalitate. Cum \(\E[V^2]=\Var(X)>0\), \(V\) nu este nulă a.s., deci, din Propoziția 27, \(|\rho|=1\) dacă și numai dacă există \(b\in\R\) cu \(U=bV\) a.s., adică \[
Y=\E Y+b(X-\E X)=a+bX\ \text{ a.s.},\qquad a=\E Y-b\,\E X .
\] În acest caz \(b\ne0\), altfel \(Y\) ar fi constantă a.s. și \(\Var(Y)=0\). Reciproc, dacă \(Y=a+bX\) a.s. cu \(b\ne0\), atunci \(\E Y=a+b\,\E X\), deci \(U=bV\) a.s. și are loc egalitatea. Semnul. Dacă \(U=bV\), atunci \(\Cov(X,Y)=\E[UV]=b\,\E[V^2]=b\Var(X)\) și \(\Var(Y)=b^2\Var(X)\), deci \(\rho(X,Y)=\frac{b\Var(X)}{\sqrt{\Var(X)\,b^2\Var(X)}}=\frac{b}{|b|}\): \(+1\) dacă \(b>0\) și \(-1\) dacă \(b<0\).
■
Coeficientul de corelație măsoară deci gradul de dependență liniară. Reciproca lui (d) este falsă: pentru \(X\sim\Unif(-1,1)\) și \(Y=X^2\), \(\Cov(X,Y)=\E[X^3]-\E[X]\,\E[X^2]=0\), deși \(Y\) este o funcție de \(X\).
Exemplul 27(Necorelate, dar dependente)
Detaliem exemplul de mai sus: \(X\sim\Unif(-1,1)\) și \(Y=X^2\). Deoarece \(\E[X]=0\) și \(\E[X^3]=\frac12\int_{-1}^1x^3\dd x=0\) (integrand impar), \(\Cov(X,Y)=\E[X\cdot X^2]-\E[X]\,\E[X^2]=0\). Totuși \(X\) și \(Y\) nu sunt independente: \(\PP(X>\tfrac12,\,Y\le\tfrac14)=0\) (dacă \(X>\frac12\), atunci \(Y>\frac14\)), pe când \(\PP(X>\tfrac12)\,\PP(Y\le\tfrac14)=\frac14\cdot\PP(|X|\le\tfrac12)=\frac14\cdot\frac12=\frac18\). Covarianța nulă exprimă doar absența unei tendințe liniare: aici dependența este perfectă, dar simetrică.
Exemplul 28(Covarianța: un calcul discret și unul continuu)
Tabelul din Exemplul 26. Variabilele \(X\) și \(Y\) nu sunt independente: \(p_{(X,Y)}(0,2)=0\), pe când \(p_X(0)\,p_Y(2)=\frac1{16}\) (Propoziția 38(a)); dacă primele două aruncări nu au dat niciun cap, ultimele două nu pot da două capete. Din (8), reținând numai căsuțele cu \(xy\ne0\), \[
\E[XY]=1\cdot1\cdot\frac28+1\cdot2\cdot\frac18+2\cdot1\cdot\frac18+2\cdot2\cdot\frac18=\frac{10}{8}=\frac54 .
\] Cum \(\E[X]=\E[Y]=1\) și \(\Var(X)=\Var(Y)=\frac12\) (repartiția \(\Bin(2,\frac12)\)), Propoziția 42(a) dă \(\Cov(X,Y)=\frac54-1=\frac14\) și \(\rho(X,Y)=\frac{1/4}{1/2}=\frac12\). Al doilea drum: fie \(I_k\) indicatorul evenimentului „cap la aruncarea \(k\)”; atunci \(X=I_1+I_2\), \(Y=I_2+I_3\) și, din biliniaritate, \(\Cov(X,Y)=\sum_{i\in\{1,2\}}\sum_{j\in\{2,3\}}\Cov(I_i,I_j)\). Indicatorii unor aruncări diferite sunt independenți, deci necorelați; rămâne termenul \(\Cov(I_2,I_2)=\Var(I_2)=\frac14\). Corelația provine exact din aruncarea comună. Din Propoziția 42(c), \(\Var(X+Y)=\frac12+\frac12+2\cdot\frac14=\frac32\).
Uniforma pe triunghi. Fie \((X,Y)\) cu densitatea \(2\) pe \(T=\{0<y<x<1\}\) (Exemplul 25(b)), cu marginalele \(f_X(x)=2x\) și \(f_Y(y)=2(1-y)\) pe \((0,1)\). Atunci \(\E[X]=\int_0^12x^2\dd x=\frac23\), \(\E[Y]=\int_0^12y(1-y)\dd y=\frac13\) și, integrând întâi în \(y\), \[
\E[XY]=\int_0^1\Big(\int_0^x2xy\dd y\Big)\dd x=\int_0^1x^3\dd x=\frac14,\qquad \Cov(X,Y)=\frac14-\frac23\cdot\frac13=\frac1{36} .
\] Apoi \(\E[X^2]=\int_0^12x^3\dd x=\frac12\) și \(\E[Y^2]=\int_0^12y^2(1-y)\dd y=\frac16\), deci \(\Var(X)=\frac12-\frac49=\frac1{18}\), \(\Var(Y)=\frac16-\frac19=\frac1{18}\) și \(\rho(X,Y)=\frac{1/36}{1/18}=\frac12\). Corelația este pozitivă: pe triunghi, o valoare mare a lui \(Y\) obligă \(X\) să fie și mai mare.
Corolarul 43(Media și varianța mediei de selecție)
Dacă \(X_1,\dots,X_n\) sunt necorelate două câte două (de exemplu, i.i.d.), cu \(\E[X_i]=\mu\) și \(\Var(X_i)=\sigma^2\), atunci media \(\Xbar=\frac1n\sum_{i=1}^nX_i\) are \[
\E[\Xbar]=\mu,\qquad \Var(\Xbar)=\frac{\sigma^2}{n}.
\]
Demonstrație. Din liniaritatea mediei, \(\E[\Xbar]=\frac1n\sum_i\E[X_i]=\frac1n\cdot n\mu=\mu\). Din Propoziția 25(b) și Propoziția 42(d), \(\Var(\Xbar)=\frac1{n^2}\Var\big(\sum_iX_i\big)=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}n\).■
De exemplu, media a \(n=25\) de măsurători independente, fiecare cu abaterea standard \(\sigma=2\), are abaterea standard \(\sigma/\sqrt n=0.4\), de cinci ori mai mică; pentru a o înjumătăți încă o dată sunt necesare de patru ori mai multe măsurători (\(n=100\)). Această lege „\(1/\sqrt n\)” va reveni în tot cursul.
Pentru un vector aleator \(\bX=(X_1,\dots,X_p)^\top\) (vector coloană) organizăm mediile și covarianțele matriceal; media unei matrice de v.a. se ia element cu element.
Definiția 44(Media și matricea de covarianță)
Dacă \(\E[X_i^2]<\infty\) pentru orice \(i\), media lui \(\bX\) este vectorul \(\E[\bX]=(\E X_1,\dots,\E X_p)^\top\), iar matricea de covarianță este matricea \(p\times p\)\[
\Cov(\bX)=\E\big[(\bX-\E\bX)(\bX-\E\bX)^\top\big]=\big(\Cov(X_i,X_j)\big)_{i,j=1}^p .
\]
Propoziția 45(Proprietățile matricei de covarianță)
Fie \(\Sigma=\Cov(\bX)\), \(A\) o matrice \(q\times p\), \(\mathbf b\in\R^q\) și \(\mathbf a\in\R^p\) (constante). Atunci:
\(\Sigma=\E[\bX\bX^\top]-\E[\bX]\,\E[\bX]^\top\), \(\Sigma\) este simetrică și pozitiv semidefinită: \(\mathbf a^\top\Sigma\,\mathbf a=\Var(\mathbf a^\top\bX)\ge0\);
\(\E[A\bX+\mathbf b]=A\,\E[\bX]+\mathbf b\) și \(\Cov(A\bX+\mathbf b)=A\,\Sigma\,A^\top\).
Demonstrație.Ideea demonstrației. Totul se reduce, element cu element, la proprietățile covarianței (Propoziția 42) și la liniaritatea mediei.
Elementul \((i,j)\) al lui \(\E[\bX\bX^\top]-\E\bX\,\E\bX^\top\) este \(\E[X_iX_j]-\E X_i\E X_j=\Cov(X_i,X_j)\) (Propoziția 42(a)); simetria rezultă din \(\Cov(X_i,X_j)=\Cov(X_j,X_i)\). Pentru \(\mathbf a\in\R^p\), din biliniaritate, \[
\Var(\mathbf a^\top\bX)=\Cov\Big(\sum_ia_iX_i,\sum_ja_jX_j\Big)=\sum_i\sum_ja_ia_j\Cov(X_i,X_j)=\mathbf a^\top\Sigma\,\mathbf a,
\] iar o varianță este nenegativă.
Componenta \(k\) a lui \(A\bX+\mathbf b\) este \(\sum_lA_{kl}X_l+b_k\), cu media \(\sum_lA_{kl}\E X_l+b_k\) (liniaritatea mediei), adică componenta \(k\) a lui \(A\,\E\bX+\mathbf b\). Prin urmare \(A\bX+\mathbf b-\E[A\bX+\mathbf b]=A(\bX-\E\bX)\). Notăm \(W=(\bX-\E\bX)(\bX-\E\bX)^\top\), matrice \(p\times p\) de v.a., cu \(\E[W]=\Sigma\). Elementul \((k,l)\) al matricei \(AWA^\top\) este \(\sum_{i,j}A_{ki}W_{ij}A_{lj}\), o combinație liniară cu coeficienți constanți a elementelor lui \(W\); din liniaritatea mediei, media lui este \(\sum_{i,j}A_{ki}\,\E[W_{ij}]\,A_{lj}\), adică elementul \((k,l)\) al matricei \(A\,\E[W]\,A^\top\). Deci \[
\Cov(A\bX+\mathbf b)=\E\big[A(\bX-\E\bX)(\bX-\E\bX)^\top A^\top\big]=\E\big[AWA^\top\big]=A\,\E[W]\,A^\top=A\Sigma A^\top .
\]
■
7.4 Sume de variabile independente și f.g.m.
Ajungem la proprietatea care face f.g.m. atât de utilă în statistică: ea transformă sumele de v.a. independente în produse.
Propoziția 46(F.g.m. a sumelor de variabile independente)
Pentru \(a,b\in\R\), \(M_{a+bX}(t)=e^{at}M_X(bt)\).
Dacă \(X_1,\dots,X_n\) sunt independente, atunci \(M_{X_1+\dots+X_n}(t)=\prod_{i=1}^nM_{X_i}(t)\) pentru orice \(t\) (cu convenția \(0\cdot\infty=0\)); în particular, suma admite f.g.m. dacă fiecare \(X_i\) admite.
Dacă \(X_1,\dots,X_n\) sunt i.i.d. cu f.g.m. \(M\), atunci \(S_n=\sum_iX_i\) are \(M_{S_n}(t)=M(t)^n\), iar \(\Xbar=S_n/n\) are \(M_{\Xbar}(t)=M(t/n)^n\).
Demonstrație.Ideea demonstrației. Exponențiala transformă suma în produs, \(e^{t(X_1+\dots+X_n)}=\prod_ie^{tX_i}\), iar media unui produs de v.a. independente este produsul mediilor.
Demonstrăm prin inducție după \(n\) că \(\E\big[\prod_{i=1}^ne^{tX_i}\big]=\prod_{i=1}^n\E\big[e^{tX_i}\big]\); pentru \(n=1\) nu este nimic de demonstrat. Variabilele \(U=e^{tX_1}\cdots e^{tX_{n-1}}=e^{t(X_1+\dots+X_{n-1})}\) și \(V=e^{tX_n}\) sunt nenegative și independente, ca funcții de blocurile disjuncte \((X_1,\dots,X_{n-1})\) și \(X_n\) de v.a. independente (Propoziția 39). Din Propoziția 40 (în forma pentru v.a. nenegative, valabilă și când unele medii sunt infinite), \(\E[UV]=\E[U]\,\E[V]\), iar \(\E[U]=\prod_{i=1}^{n-1}\E[e^{tX_i}]\), din ipoteza de inducție. Deci \[
M_{X_1+\dots+X_n}(t)=\E\Big[\prod_{i=1}^ne^{tX_i}\Big]=\prod_{i=1}^n\E\big[e^{tX_i}\big]=\prod_{i=1}^nM_{X_i}(t).
\] Dacă \(M_{X_i}(t)<\infty\) pentru \(|t|<h_i\), atunci produsul este finit pentru \(|t|<\min_ih_i\): suma admite f.g.m.
Din (b) cu \(M_{X_i}=M\) pentru orice \(i\), \(M_{S_n}(t)=M(t)^n\). Apoi \(\Xbar=S_n/n\) este transformarea afină a lui \(S_n\) cu \(a=0\), \(b=1/n\), deci, din (a), \(M_{\Xbar}(t)=M_{S_n}(t/n)=M(t/n)^n\).
■
De exemplu, dacă \(X_1,\dots,X_n\) sunt i.i.d. \(\Bern(p)\), atunci, din (c), \(M_{S_n}(t)=(1-p+pe^t)^n\), f.g.m. a repartiției \(\Bin(n,p)\) (Tabelul 3); din unicitate (Teorema 33), \(S_n\sim\Bin(n,p)\), în acord cu (1).
Exemplul 29(Suma de variabile Poisson independente)
Dacă \(X\sim\Pois(\lambda)\) și \(Y\sim\Pois(\mu)\) sunt independente, atunci, din Exemplul 21 și Propoziția 46(b), \[
M_{X+Y}(t)=e^{\lambda(e^t-1)}e^{\mu(e^t-1)}=e^{(\lambda+\mu)(e^t-1)},\qquad t\in\R,
\] care este f.g.m. a repartiției \(\Pois(\lambda+\mu)\); din Teorema 33, \(X+Y\sim\Pois(\lambda+\mu)\). Prin inducție, suma a \(n\) v.a. Poisson independente de parametri \(\lambda_i\) are repartiția \(\Pois(\sum_i\lambda_i)\).
Exemplul 30(Combinații liniare de variabile normale independente)
Fie \(X_i\sim\Norm(\mu_i,\sigma_i^2)\), \(i=1,\dots,n\), independente, și \(a_0,a_1,\dots,a_n\in\R\). Variabilele \(a_1X_1,\dots,a_nX_n\) sunt independente (Propoziția 39), cu \(M_{a_iX_i}(t)=M_{X_i}(a_it)\) (Lema 31). Din Propoziția 46(a), (b) și Exemplul 22, f.g.m. a lui \(Y=a_0+\sum_ia_iX_i\) este, pentru orice \(t\in\R\), \[
M_Y(t)=e^{a_0t}\prod_{i=1}^nM_{X_i}(a_it)=e^{a_0t}\prod_{i=1}^ne^{\mu_ia_it+\sigma_i^2a_i^2t^2/2}
=\exp\Big(\Big(a_0+\sum_ia_i\mu_i\Big)t+\Big(\sum_ia_i^2\sigma_i^2\Big)\frac{t^2}{2}\Big),
\] adică f.g.m. a repartiției \(\Norm\big(a_0+\sum_ia_i\mu_i,\ \sum_ia_i^2\sigma_i^2\big)\); din unicitate (Teorema 33), \(Y\) are această repartiție. În particular, pentru un eșantion \(X_1,\dots,X_n\) i.i.d. \(\Norm(\mu,\sigma^2)\) (\(a_0=0\), \(a_i=1/n\)), \(\Xbar\sim\Norm\big(\mu,\frac{\sigma^2}{n}\big)\): media și varianța erau cunoscute din Corolarul 43; noutatea este că repartiția rămâne exact normală.
Exemplul 31(Suma de exponențiale independente: repartiția Gamma)
Dacă \(X_i\sim\GammaD(\alpha_i,\lambda)\), \(i=1,\dots,n\), sunt independente (același \(\lambda\)), atunci, din Propoziția 46(b) și Exemplul 21, pentru \(t<\lambda\), \[
M_{\sum_iX_i}(t)=\prod_{i=1}^n\Big(\frac{\lambda}{\lambda-t}\Big)^{\alpha_i}=\Big(\frac{\lambda}{\lambda-t}\Big)^{\sum_i\alpha_i},
\] adică f.g.m. a repartiției \(\GammaD(\sum_i\alpha_i,\lambda)\), finită pe vecinătatea \((-\lambda,\lambda)\) a lui \(0\); din Teorema 33, \(\sum_iX_i\sim\GammaD(\sum_i\alpha_i,\lambda)\). În particular, dacă \(X_1,\dots,X_n\) sunt i.i.d. \(\Exp(\lambda)=\GammaD(1,\lambda)\), \[
S_n=X_1+\dots+X_n\sim\GammaD(n,\lambda),
\] cu densitatea \(\frac{\lambda^nx^{n-1}}{(n-1)!}e^{-\lambda x}\), \(x>0\) (repartiția Erlang).
Exemplul 32(Trei aplicații numerice)
Poisson. Pe două linii telefonice sosesc, independent, \(N_1\sim\Pois(2)\) și \(N_2\sim\Pois(3)\) apeluri pe minut. Din Exemplul 29, numărul total este \(N=N_1+N_2\sim\Pois(5)\), deci \[
\PP(N\le3)=e^{-5}\Big(1+5+\frac{5^2}{2}+\frac{5^3}{6}\Big)\approx0.2650 .
\]
Normală. Masele a patru piese sunt i.i.d. \(\Norm(100,3^2)\) (în grame). Din Exemplul 30, masa totală este \(S\sim\Norm(400,36)\), media este \(\Xbar\sim\Norm\big(100,\frac94\big)\), iar diferența a două piese este \(X_1-X_2\sim\Norm(0,18)\) (coeficienții \(1\) și \(-1\): varianțele se adună). Prin standardizare (Propoziția 18(b)), \[
\begin{aligned}
\PP(S>410)&=1-\Phi\Big(\frac{410-400}{6}\Big)=1-\Phi(1.667)\approx0.0478,\\
\PP\big(|\Xbar-100|\le2\big)&=2\Phi\Big(\frac{2}{1.5}\Big)-1=2\Phi(1.333)-1\approx0.8176,\\
\PP\big(|X_1-X_2|>6\big)&=2\Big(1-\Phi\Big(\frac{6}{\sqrt{18}}\Big)\Big)=2\big(1-\Phi(1.414)\big)\approx0.1573 .
\end{aligned}
\]
Exponențială. Trei clienți sunt serviți unul după altul, cu timpii de servire i.i.d. \(\Exp(2)\) (media \(\frac12\)). Din Exemplul 31, timpul total este \(S\sim\GammaD(3,2)\), cu densitatea \(\frac{2^3x^2}{2!}e^{-2x}=4x^2e^{-2x}\). Funcția \(-e^{-2x}(2x^2+2x+1)\) este o primitivă a ei (prin derivare, sau integrând de două ori prin părți), deci \[
\PP(S>2)=\int_2^\infty4x^2e^{-2x}\dd x=\Big[-e^{-2x}\big(2x^2+2x+1\big)\Big]_2^\infty=13\,e^{-4}\approx0.2381
\] (în R: 1 - pgamma(2, shape = 3, rate = 2)).
F.g.m. se definește și pentru vectori, cu produsul scalar în locul produsului \(tX\); ea caracterizează repartiția comună și independența.
Definiția 47(F.g.m. a unui vector aleator)
F.g.m. a vectorului aleator \(\bX=(X_1,\dots,X_p)^\top\) este \(M_{\bX}(\mathbf t)=\E\big[e^{\mathbf t^\top\bX}\big]=\E\big[e^{t_1X_1+\dots+t_pX_p}\big]\), \(\mathbf t\in\R^p\).
Teorema 48(Unicitate și independență)
Dacă \(M_{\bX}\) și \(M_{\mathbf Y}\) sunt finite și egale pe o vecinătate a lui \(\mathbf 0\in\R^p\), atunci \(\bX\) și \(\mathbf Y\) au aceeași repartiție.
Dacă \(X\) și \(Y\) admit f.g.m., atunci \(X\) și \(Y\) sunt independente dacă și numai dacă \(M_{(X,Y)}(s,t)=M_X(s)\,M_Y(t)\) pentru \((s,t)\) într-o vecinătate a lui \((0,0)\).
Despre (a). Afirmația (a) este analogul multidimensional al Teoremei 33. Ea se reduce la cazul unidimensional astfel: pentru \(\mathbf a\in\R^p\) fixat și \(s\in\R\) suficient de mic (astfel încât \(s\mathbf a\) să se afle în vecinătatea din enunț), \[
M_{\mathbf a^\top\bX}(s)=\E\big[e^{s\,\mathbf a^\top\bX}\big]=M_{\bX}(s\mathbf a)=M_{\mathbf Y}(s\mathbf a)=M_{\mathbf a^\top\mathbf Y}(s),
\] deci, din Teorema 33, \(\mathbf a^\top\bX\) și \(\mathbf a^\top\mathbf Y\) au aceeași repartiție, pentru orice \(\mathbf a\in\R^p\). Faptul că repartițiile tuturor combinațiilor liniare ale componentelor determină repartiția vectorului este un rezultat de teoria măsurii, pe care îl admitem (Billingsley 1995, sec. 29); deci (a) este admisă.
Despre (b). „\(\Rightarrow\)”: dacă \(X\) și \(Y\) sunt independente, atunci \(e^{sX}\) și \(e^{tY}\) sunt independente (Propoziția 39) și nenegative, deci, din Propoziția 40, \(M_{(X,Y)}(s,t)=\E\big[e^{sX}e^{tY}\big]=\E\big[e^{sX}\big]\,\E\big[e^{tY}\big]=M_X(s)M_Y(t)\) pentru orice \((s,t)\). „\(\Leftarrow\)”: fie \((X',Y')\) un vector cu componente independente, cu \(X'\eqd X\) și \(Y'\eqd Y\) (existența unui astfel de vector va fi demonstrată în Cursul 3). Din implicația directă, \(M_{(X',Y')}(s,t)=M_{X}(s)M_{Y}(t)\), care, prin ipoteză, este egală cu \(M_{(X,Y)}(s,t)\) și este finită într-o vecinătate a lui \((0,0)\). Din (a), \((X,Y)\) și \((X',Y')\) au aceeași repartiție, deci \(F_{(X,Y)}(x,y)=F_{(X',Y')}(x,y)=F_{X'}(x)F_{Y'}(y)=F_X(x)F_Y(y)\) pentru orice \((x,y)\): \(X\) și \(Y\) sunt independente (vezi și (Hogg et al. 2019, sec. 2.4)).
7.5 Transformări de vectori aleatori
Toate obiectele statisticii sunt funcții ale eșantionului\((X_1,\dots,X_n)\): suma și media \(\Xbar\), varianța de selecție, minimul și maximul. Metodele generale pentru repartițiile lor extind la vectori rezultatele din Secțiunea 4.4(Casella and Berger 2002, sec. 4.3 și 4.6; Hogg et al. 2019, sec. 2.2 și 2.7; Knight 2000, sec. 2.2). Principiul este același: dacă \(\bX\) este un vector aleator \(p\)-dimensional și \(g:\R^p\to\R^q\) este boreliană, atunci \(g(\bX)\) este un vector aleator \(q\)-dimensional, cu repartiția \[
\PP\big(g(\bX)\in B\big)=\PP\big(\bX\in g^{-1}(B)\big),\qquad B\in\B(\R^q).
\tag{9}\]Cazul discret. Adunăm probabilitățile punctelor cu aceeași imagine, ca în (3).
Propoziția 49(Transformări de vectori discreți. Convoluția discretă)
Fie \(\bX\) un vector aleator discret \(p\)-dimensional, cu funcția de masă \(p_{\bX}\), și \(g:\R^p\to\R^q\) o funcție boreliană. Atunci \(\mathbf U=g(\bX)\) este un vector discret, cu funcția de masă \[
\PP(\mathbf U=\mathbf u)=\sum_{\bx:\ g(\bx)=\mathbf u}p_{\bX}(\bx),\qquad\mathbf u\in\R^q,
\tag{10}\] suma fiind luată după valorile \(\bx\) ale lui \(\bX\) pentru care \(g(\bx)=\mathbf u\).
Dacă \((X,Y)\) este un vector discret, atunci, pentru orice \(s\in\R\), \(\PP(X+Y=s)=\sum_{x}p_{(X,Y)}(x,s-x)\), suma fiind luată după valorile \(x\) ale lui \(X\). Dacă, în plus, \(X\) și \(Y\) sunt independente, atunci \[
\PP(X+Y=s)=\sum_{x}p_X(x)\,p_Y(s-x)
\tag{11}\] (formula de convoluție discretă).
Demonstrație.
Fie \(\bx_1,\bx_2,\dots\) valorile (distincte, cel mult numărabile) ale lui \(\bX\). Vectorul \(\mathbf U\) ia valori în mulțimea cel mult numărabilă \(\{g(\bx_1),g(\bx_2),\dots\}\), deci este discret. Pentru \(\mathbf u\in\R^q\), evenimentul \(\{\mathbf U=\mathbf u\}\) este reuniunea evenimentelor \(\{\bX=\bx_i\}\) cu \(g(\bx_i)=\mathbf u\), care sunt disjuncte două câte două și cel mult numărabile; din \(\sigma\)-aditivitate, \[
\PP(\mathbf U=\mathbf u)=\sum_{i:\ g(\bx_i)=\mathbf u}\PP(\bX=\bx_i)=\sum_{\bx:\ g(\bx)=\mathbf u}p_{\bX}(\bx).
\]
Aplicăm (a) vectorului \((X,Y)\) și funcției \(g(x,y)=x+y\): perechile \((x,y)\) cu \(x+y=s\) sunt perechile \((x,s-x)\), deci \(\PP(X+Y=s)=\sum_xp_{(X,Y)}(x,s-x)\), unde \(x\) parcurge valorile lui \(X\) (dacă \(s-x\) nu este o valoare a lui \(Y\), termenul \(p_{(X,Y)}(x,s-x)=\PP(X=x,\ Y=s-x)\) este nul). Dacă \(X\) și \(Y\) sunt independente, \(p_{(X,Y)}(x,s-x)=p_X(x)\,p_Y(s-x)\), din criteriul de factorizare (Propoziția 38(a)).
■
Exemplul 33(Două zaruri: suma, maximul și minimul)
Aruncăm două zaruri echilibrate; rezultatele \(X\) și \(Y\) sunt independente și uniforme pe \(\{1,\dots,6\}\), deci \(p_{(X,Y)}(x,y)=\frac1{36}\). Din (11), \(\PP(X+Y=s)\) este \(\frac1{36}\) înmulțit cu numărul valorilor \(x\in\{1,\dots,6\}\) pentru care \(s-x\in\{1,\dots,6\}\), adică \(s-1\) pentru \(2\le s\le7\) și \(13-s\) pentru \(7\le s\le12\): \[
\PP(X+Y=s)=\frac{6-|s-7|}{36},\qquad s=2,3,\dots,12 ,
\] o repartiție „triunghiulară” (pe care metoda f.g.m. nu ar fi putut-o „recunoaște”). Pentru \(m=\min(X,Y)\) și \(M=\max(X,Y)\), funcția \(g(x,y)=\big(\min(x,y),\max(x,y)\big)\)nu este injectivă: pentru \(i<j\), punctul \((i,j)\) are două preimagini, \((i,j)\) și \((j,i)\), pe când \((i,i)\) are una singură. Din (10), \(\PP(m=i,\ M=j)\) este \(\frac2{36}\) pentru \(i<j\), \(\frac1{36}\) pentru \(i=j\) și \(0\) pentru \(i>j\); sumând după \(i\le k\) (Propoziția 36), \(\PP(M=k)=\frac{2(k-1)+1}{36}=\frac{2k-1}{36}\), \(k=1,\dots,6\). Factorul \(2\) va reapărea în cazul continuu (Exemplul 42).
Metoda funcției de repartiție. Fie acum \((X,Y)\) un vector continuu, cu densitatea \(f_{(X,Y)}\), și \(Z=g(X,Y)\), cu \(g:\R^2\to\R\) boreliană. Ca în (4), \(\{Z\le z\}=\{(X,Y)\in A_z\}\), cu \(A_z=\{(x,y):\ g(x,y)\le z\}\), deci \[
F_Z(z)=\PP\big((X,Y)\in A_z\big)=\iint_{\{(x,y):\ g(x,y)\le z\}}f_{(X,Y)}(x,y)\dd x\dd y .
\tag{12}\] Calculăm integrala dublă ca integrală iterată (teorema lui Fubini) și identificăm o densitate, derivând \(F_Z\) sau aducând \(F_Z\) la forma \(\int_{-\infty}^z(\dots)\dd u\).
Exemplul 34(Distanța dintre două puncte alese la întâmplare)
Fie \(X\) și \(Y\) independente, \(\Unif(0,1)\) (două puncte alese la întâmplare pe un segment de lungime \(1\)), și \(Z=|X-Y|\) distanța dintre ele. Vectorul \((X,Y)\) are densitatea \(1\) pe pătratul \((0,1)^2\) (Propoziția 38(b)), deci probabilitatea unei mulțimi este aria părții ei din pătrat. Pentru \(z\in(0,1)\), \(A_z=\{|x-y|\le z\}\) este banda dintre dreptele \(y=x-z\) și \(y=x+z\); complementara ei în pătrat este formată din două triunghiuri dreptunghice isoscele cu catetele de lungime \(1-z\) (colțurile \(\{y>x+z\}\) și \(\{y<x-z\}\)), de arie totală \(2\cdot\frac{(1-z)^2}{2}=(1-z)^2\). Deci \[
F_Z(z)=1-(1-z)^2\quad(0\le z\le1),\qquad F_Z(z)=0\quad(z<0),\qquad F_Z(z)=1\quad(z>1).
\]\(F_Z\) este continuă pe \(\R\) și are derivata continuă pe \((-\infty,0)\), \((0,1)\) și \((1,\infty)\), deci, din Lema 16, \(Z\) are densitatea \(f_Z(z)=2(1-z)\) pe \((0,1)\): distanțele mici sunt cele mai probabile. De exemplu, \(\PP(Z\le0.3)=1-0.7^2=0.51\) (în R, prin simulare: mean(abs(runif(1e5) - runif(1e5)) <= 0.3)), iar distanța medie este \(\E[Z]=\int_0^12z(1-z)\dd z=\frac13\).
Propoziția 50(Densitățile sumei, diferenței, produsului și câtului)
Fie \((X,Y)\) un vector aleator cu densitatea comună \(f\). Atunci \(X+Y\), \(X-Y\), \(XY\) și \(X/Y\) (definit a.s., deoarece \(\PP(Y=0)=0\)) sunt v.a. continue, cu densitățile \[
\begin{aligned}
\text{(a)}\ \ f_{X+Y}(z)&=\int_{\R}f(x,z-x)\dd x,&\qquad\text{(b)}\ \ f_{X-Y}(z)&=\int_{\R}f(x,x-z)\dd x,\\
\text{(c)}\ \ f_{XY}(z)&=\int_{\R}f\Big(x,\frac zx\Big)\frac{\dd x}{|x|},&\qquad\text{(d)}\ \ f_{X/Y}(z)&=\int_{\R}|y|\,f(zy,y)\dd y .
\end{aligned}
\] Dacă \(X\) și \(Y\) sunt independente, cu densitățile \(f_X\) și \(f_Y\), atunci \(f(x,y)=f_X(x)f_Y(y)\); în particular, \[
f_{X+Y}(z)=\int_{\R}f_X(x)\,f_Y(z-x)\dd x,\qquad f_{X/Y}(z)=\int_{\R}|y|\,f_X(zy)\,f_Y(y)\dd y .
\tag{13}\] Prima relație este formula de convoluție a densităților.
Demonstrație.Ideea demonstrației. În fiecare caz scriem \(F_Z(z)\) cu (12) ca integrală iterată: pentru \(x\) (respectiv \(y\)) fixat, domeniul în cealaltă variabilă este o semidreaptă. O schimbare de variabilă afină în integrala interioară aduce capătul semidreptei în \(z\), iar schimbarea ordinii de integrare (teorema lui Fubini pentru funcții nenegative) dă \(F_Z(z)=\int_{-\infty}^z\psi(u)\dd u\); atunci \(\psi\ge0\) este, prin definiție, o densitate a lui \(Z\) (Definiția 15(b)).
Pentru \(x\) fixat, \(x+y\le z\iff y\le z-x\). În integrala interioară facem schimbarea de variabilă \(y=u-x\) (\(\dd y=\dd u\); când \(y\) parcurge \((-\infty,z-x]\), \(u=y+x\) parcurge \((-\infty,z]\)), apoi schimbăm ordinea de integrare: \[
\begin{aligned}
F_{X+Y}(z)&=\int_{\R}\Big(\int_{-\infty}^{z-x}f(x,y)\dd y\Big)\dd x=\int_{\R}\Big(\int_{-\infty}^{z}f(x,u-x)\dd u\Big)\dd x\\
&=\int_{-\infty}^z\Big(\int_{\R}f(x,u-x)\dd x\Big)\dd u .
\end{aligned}
\]
Pentru \(x\) fixat, \(x-y\le z\iff y\ge x-z\). Cu schimbarea de variabilă \(y=x-u\) (\(\dd y=-\dd u\); când \(y\) crește de la \(x-z\) la \(+\infty\), \(u=x-y\) descrește de la \(z\) la \(-\infty\)), \[
\int_{x-z}^{\infty}f(x,y)\dd y=\int_{z}^{-\infty}f(x,x-u)\,(-\dd u)=\int_{-\infty}^zf(x,x-u)\dd u ,
\] deci, integrând în \(x\) și schimbând ordinea de integrare, \[
F_{X-Y}(z)=\int_{\R}\Big(\int_{-\infty}^zf(x,x-u)\dd u\Big)\dd x=\int_{-\infty}^z\Big(\int_{\R}f(x,x-u)\dd x\Big)\dd u .
\]
\(X\) este o v.a. continuă (Propoziția 36), deci \(\PP(X=0)=0\); integrăm separat pe \(\{x>0\}\) și pe \(\{x<0\}\). Pentru \(x>0\), \(xy\le z\iff y\le z/x\); pentru \(x<0\), \(xy\le z\iff y\ge z/x\). În ambele cazuri facem, pentru \(x\) fixat, schimbarea de variabilă \(y=u/x\), \(\dd y=\dd u/x\). Dacă \(x>0\), când \(y\) parcurge \((-\infty,z/x]\), \(u=xy\) parcurge \((-\infty,z]\); dacă \(x<0\), când \(y\) crește de la \(z/x\) la \(+\infty\), \(u=xy\) descrește de la \(z\) la \(-\infty\): \[
\begin{aligned}
\int_{-\infty}^{z/x}f(x,y)\dd y&=\int_{-\infty}^zf\Big(x,\frac ux\Big)\frac{\dd u}{x}&&(x>0),\\
\int_{z/x}^{\infty}f(x,y)\dd y&=\int_{z}^{-\infty}f\Big(x,\frac ux\Big)\frac{\dd u}{x}=\int_{-\infty}^zf\Big(x,\frac ux\Big)\frac{\dd u}{-x}&&(x<0).
\end{aligned}
\] În ambele cazuri factorul este \(\frac1{|x|}\), deci \[
F_{XY}(z)=\int_{\R\setminus\{0\}}\Big(\int_{-\infty}^zf\Big(x,\frac ux\Big)\frac{\dd u}{|x|}\Big)\dd x=\int_{-\infty}^z\Big(\int_{\R}f\Big(x,\frac ux\Big)\frac{1}{|x|}\dd x\Big)\dd u .
\]
La fel, \(\PP(Y=0)=0\), deci \(X/Y\) este definit a.s. Pentru \(y>0\), \(x/y\le z\iff x\le zy\); pentru \(y<0\), \(x/y\le z\iff x\ge zy\). Pentru \(y\) fixat facem schimbarea de variabilă \(x=uy\), \(\dd x=y\dd u\). Dacă \(y>0\), când \(x\) parcurge \((-\infty,zy]\), \(u=x/y\) parcurge \((-\infty,z]\); dacă \(y<0\), când \(x\) crește de la \(zy\) la \(+\infty\), \(u=x/y\) descrește de la \(z\) la \(-\infty\): \[
\begin{aligned}
\int_{-\infty}^{zy}f(x,y)\dd x&=\int_{-\infty}^zf(uy,y)\,y\dd u&&(y>0),\\
\int_{zy}^{\infty}f(x,y)\dd x&=\int_{z}^{-\infty}f(uy,y)\,y\dd u=\int_{-\infty}^zf(uy,y)\,(-y)\dd u&&(y<0).
\end{aligned}
\] În ambele cazuri factorul este \(|y|\), deci \[
F_{X/Y}(z)=\int_{\R\setminus\{0\}}\Big(\int_{-\infty}^z|y|\,f(uy,y)\dd u\Big)\dd y=\int_{-\infty}^z\Big(\int_{\R}|y|\,f(uy,y)\dd y\Big)\dd u .
\]
Cazul independent. Din Propoziția 38(b), \(f(x,y)=f_X(x)f_Y(y)\); înlocuind în (a) și în (d) obținem cele două relații (13); la fel pentru (b) și (c).■
În aplicații, atenție la domeniul de integrare: integrandul este nenul numai acolo unde ambii factori sunt nenuli (Exercițiul 2).
Exemplul 35(Suma a două uniforme: domeniul de integrare)
Fie \(X\sim\Unif(0,1)\) și \(Y\sim\Unif(0,2)\) independente (timpii a două etape succesive ale unei operații) și \(Z=X+Y\). Din formula de convoluție (13), \(f_Z(z)=\int_{\R}f_X(x)\,f_Y(z-x)\dd x\), cu \(f_X(x)=\Ind_{(0,1)}(x)\) și \(f_Y(z-x)=\frac12\Ind_{(0,2)}(z-x)\). Integrandul este egal cu \(\frac12\) dacă \(0<x<1\)și\(0<z-x<2\), adică dacă \[
\max(0,\,z-2)<x<\min(1,\,z),
\] și este nul în rest; deci \(f_Z(z)\) este jumătate din lungimea acestui interval (când el este nevid):
pentru \(0<z\le1\), intervalul este \((0,z)\) și \(f_Z(z)=\frac z2\);
pentru \(1<z\le2\), intervalul este \((0,1)\) și \(f_Z(z)=\frac12\);
pentru \(2<z<3\), intervalul este \((z-2,1)\) și \(f_Z(z)=\frac{3-z}{2}\);
pentru \(z\le0\) sau \(z\ge3\), intervalul este vid și \(f_Z(z)=0\).
Graficul densității este un trapez; verificare: \(\int_0^1\frac z2\dd z+\int_1^2\frac12\dd z+\int_2^3\frac{3-z}{2}\dd z=\frac14+\frac12+\frac14=1\). De exemplu, \(\PP(Z\le1)=\frac14\). Greșeala tipică este integrarea pe \((0,1)\) pentru orice \(z\), care ar da \(f_Z=\frac12\) pe \((0,3)\), o funcție de integrală \(\frac32\). Pentru două uniforme pe același interval, porțiunea constantă dispare și densitatea devine „triunghiulară”, analogul continuu al repartiției sumei a două zaruri (Exemplul 33). Metoda f.g.m. nu ajută aici: \(M_Z(t)=\frac{e^t-1}{t}\cdot\frac{e^{2t}-1}{2t}\) nu apare în Tabelul 3.
Pentru maxim și minim, domeniul \(A_z\) este un „colț” al planului, iar independența transformă probabilitatea lui într-un produs.
Propoziția 51(Maximul și minimul unor variabile independente)
Fie \(X\) și \(Y\) v.a. independente, cu funcțiile de repartiție \(F_X\) și \(F_Y\). Atunci, pentru orice \(z\in\R\), \[
F_{\max(X,Y)}(z)=F_X(z)\,F_Y(z),\qquad 1-F_{\min(X,Y)}(z)=\big(1-F_X(z)\big)\big(1-F_Y(z)\big).
\tag{14}\] Dacă, în plus, \(X\) și \(Y\) au densitățile \(f_X\) și \(f_Y\), atunci \(\max(X,Y)\) și \(\min(X,Y)\) sunt v.a. continue, cu densitățile \[
\begin{aligned}
f_{\max(X,Y)}(z)&=f_X(z)\,F_Y(z)+f_Y(z)\,F_X(z),\\
f_{\min(X,Y)}(z)&=f_X(z)\big(1-F_Y(z)\big)+f_Y(z)\big(1-F_X(z)\big).
\end{aligned}
\tag{15}\] Mai general, dacă \(X_1,\dots,X_n\) sunt independente, atunci \(F_{\max_iX_i}(z)=\prod_{i=1}^nF_{X_i}(z)\) și \(1-F_{\min_iX_i}(z)=\prod_{i=1}^n\big(1-F_{X_i}(z)\big)\); dacă sunt i.i.d., cu funcția de repartiție \(F\) și densitatea \(f\), maximul și minimul au densitățile \(n\,f(z)\,F(z)^{n-1}\), respectiv \(n\,f(z)\,\big(1-F(z)\big)^{n-1}\).
Demonstrație.Ideea demonstrației. Maximul este cel mult \(z\) exact când ambele variabile sunt cel mult \(z\), iar minimul depășește \(z\) exact când ambele îl depășesc; independența transformă probabilitățile acestor intersecții în produse. Densitățile se obțin scriind probabilitatea „colțului” ca integrală dublă și împărțind colțul în două, după care dintre variabile este mai mare.
Pasul 1 (funcțiile de repartiție). Avem \(\{\max(X,Y)\le z\}=\{X\le z\}\cap\{Y\le z\}\) și \(\{\min(X,Y)>z\}=\{X>z\}\cap\{Y>z\}\). Din independență (Definiția 37, în forma cu mulțimi boreliene, cu \(B_1=B_2=(-\infty,z]\), respectiv \(B_1=B_2=(z,\infty)\)), \[
\PP\big(\max(X,Y)\le z\big)=\PP(X\le z)\,\PP(Y\le z),\qquad \PP\big(\min(X,Y)>z\big)=\PP(X>z)\,\PP(Y>z),
\] adică (14). Pentru \(n\) variabile argumentul este același, cu intersecții de \(n\) evenimente.
Pasul 2 (densitatea maximului). Vectorul \((X,Y)\) are densitatea \(f_X(x)f_Y(y)\) (Propoziția 38(b)). Colțul \((-\infty,z]^2\) este reuniunea disjunctă a mulțimilor \(\{y\le x\le z\}\) (pe care maximul este \(x\)) și \(\{x<y\le z\}\) (pe care maximul este \(y\)). Din teorema lui Fubini, integrând de fiecare dată întâi după variabila mai mică, \[
\begin{aligned}
F_{\max(X,Y)}(z)&=\iint_{\{y\le x\le z\}}f_X(x)f_Y(y)\dd x\dd y+\iint_{\{x<y\le z\}}f_X(x)f_Y(y)\dd x\dd y\\
&=\int_{-\infty}^zf_X(x)\Big(\int_{-\infty}^xf_Y(y)\dd y\Big)\dd x+\int_{-\infty}^zf_Y(y)\Big(\int_{-\infty}^yf_X(x)\dd x\Big)\dd y\\
&=\int_{-\infty}^z\big(f_X(u)\,F_Y(u)+f_Y(u)\,F_X(u)\big)\dd u
\end{aligned}
\] (în a doua integrală interioară, \(\int_{-\infty}^yf_X(x)\dd x=\PP(X<y)=F_X(y)\), \(X\) fiind continuă). Funcția de sub ultima integrală este nenegativă, deci este o densitate a maximului (Definiția 15(b)).
Pasul 3 (densitatea minimului). La fel, \((z,\infty)^2\) este reuniunea disjunctă a mulțimilor \(\{z<x\le y\}\) (pe care minimul este \(x\)) și \(\{z<y<x\}\) (pe care minimul este \(y\)), deci \[
\begin{aligned}
1-F_{\min(X,Y)}(z)&=\int_z^\infty f_X(x)\Big(\int_x^\infty f_Y(y)\dd y\Big)\dd x+\int_z^\infty f_Y(y)\Big(\int_y^\infty f_X(x)\dd x\Big)\dd y\\
&=\int_z^\infty\psi(u)\dd u,\qquad\text{unde}\quad\psi(u):=f_X(u)\big(1-F_Y(u)\big)+f_Y(u)\big(1-F_X(u)\big).
\end{aligned}
\] Când \(z\to-\infty\), membrul stâng tinde la \(1\) (Propoziția 14(b)), deci \(\int_{\R}\psi(u)\dd u=1\) și \(F_{\min(X,Y)}(z)=1-\int_z^\infty\psi(u)\dd u=\int_{-\infty}^z\psi(u)\dd u\): funcția \(\psi\ge0\) este o densitate a minimului.
Pasul 4 (cazul i.i.d., \(n\) variabile). Arătăm prin inducție după \(n\) că \(M_n=\max(X_1,\dots,X_n)\) are densitatea \(n\,f\,F^{n-1}\); pentru \(n=1\) este ipoteza. Dacă afirmația are loc pentru \(n-1\), atunci \(M_{n-1}\) are densitatea \((n-1)fF^{n-2}\) și, din Pasul 1, funcția de repartiție \(F^{n-1}\); fiind o funcție de \((X_1,\dots,X_{n-1})\), \(M_{n-1}\) este independentă de \(X_n\) (Propoziția 39). Cum \(M_n=\max(M_{n-1},X_n)\), din (15), \[
f_{M_n}=(n-1)fF^{n-2}\cdot F+f\cdot F^{n-1}=n\,f\,F^{n-1}.
\] Pentru minim, aceeași inducție, cu \(1-F\) în locul lui \(F\): \(m_n=\min(m_{n-1},X_n)\) are densitatea \((n-1)f(1-F)^{n-2}\cdot(1-F)+f\cdot(1-F)^{n-1}=n\,f\,(1-F)^{n-1}\).■
Formal, densitățile (15) sunt derivatele funcțiilor din (14) (regula de derivare a produsului); demonstrația de mai sus arată că rezultatul este corect fără nicio ipoteză de continuitate asupra densităților.
Exemplul 36(Maximul și minimul a \(n\) uniforme)
Fie \(U_1,\dots,U_n\) i.i.d. \(\Unif(0,1)\), cu \(F(z)=z\) și \(f(z)=1\) pe \((0,1)\), \(M_n=\max_iU_i\) și \(m_n=\min_iU_i\). Din Propoziția 51, pentru \(z\in(0,1)\), \[
F_{M_n}(z)=z^n,\quad f_{M_n}(z)=n\,z^{n-1};\qquad 1-F_{m_n}(z)=(1-z)^n,\quad f_{m_n}(z)=n\,(1-z)^{n-1}
\] (în afara intervalului \((0,1)\) ambele densități sunt nule). Mediile sunt \(\E[M_n]=\int_0^1z\cdot nz^{n-1}\dd z=\frac{n}{n+1}\) și, cu schimbarea de variabilă \(u=1-z\), \(\E[m_n]=\int_0^1(1-u)\,nu^{n-1}\dd u=1-\frac{n}{n+1}=\frac{1}{n+1}\). Pentru \(n=5\): \(\PP(M_5\le0.8)=0.8^5\approx0.3277\), \(\PP(m_5>0.1)=0.9^5\approx0.5905\) și \(\E[M_5]=\frac56\). Maximul se apropie de \(1\) când \(n\) crește, dar rămâne, în medie, la distanța \(\frac1{n+1}\) de el; vom preciza acest comportament în Exemplul 43.
Formula schimbării de variabilă. Pentru repartiția comună a mai multor funcții ale aceluiași vector folosim generalizarea Teoremei 17 la dimensiunea \(d\), în care locul derivatei funcției inverse este luat de un determinant. Pentru o funcție \(\varphi=(\varphi_1,\dots,\varphi_d)\) de clasă \(C^1\) pe o mulțime deschisă din \(\R^d\) notăm cu \(J_\varphi(y)=\det\big(\frac{\partial\varphi_i}{\partial y_j}(y)\big)_{1\le i,j\le d}\)iacobianul lui \(\varphi\) în \(y\). Admitem formula schimbării de variabilă în integrala multiplă (Billingsley 1995, sec. 17): dacă \(\Delta,D\subseteq\R^d\) sunt mulțimi deschise și \(\varphi:\Delta\to D\) este o bijecție de clasă \(C^1\), cu \(J_\varphi(y)\ne0\) pentru orice \(y\in\Delta\), atunci, pentru orice funcție boreliană \(\psi:D\to[0,\infty]\), \[
\int_D\psi(x)\dd x=\int_\Delta\psi\big(\varphi(y)\big)\,\big|J_\varphi(y)\big|\dd y .
\tag{16}\] În enunțurile care urmează, \(X\) și \(Y\) desemnează vectori aleatori \(d\)-dimensionali.
Teorema 52(Densitatea unei transformări de vectori aleatori)
Fie \(X\) un vector aleator \(d\)-dimensional cu densitatea \(f_X\) și \(S\subseteq\R^d\) o mulțime deschisă cu \(\PP(X\in S)=1\). Fie \(h:S\to\R^d\) o funcție injectivă, de clasă \(C^1\), cu \(J_h(x)\ne0\) pentru orice \(x\in S\). Atunci \(T=h(S)\) este deschisă, \(h^{-1}:T\to S\) este de clasă \(C^1\), cu \[
J_{h^{-1}}(y)=\frac{1}{J_h\big(h^{-1}(y)\big)},\qquad y\in T,
\tag{17}\] iar vectorul \(Y=h(X)\) are densitatea \[
f_Y(y)=f_X\big(h^{-1}(y)\big)\,\big|J_{h^{-1}}(y)\big|\,\Ind_T(y),\qquad y\in\R^d .
\tag{18}\]
Demonstrație.Ideea demonstrației. Scriem \(\PP(Y\in C)\) ca integrala densității \(f_X\) pe mulțimea \(\{x\in S:\ h(x)\in C\}\) și schimbăm variabila \(x=h^{-1}(y)\) în această integrală, cu (16): apare factorul \(|J_{h^{-1}}(y)|\), iar integrandul obținut, ca funcție de \(y\), este densitatea căutată. Înainte trebuie verificat că \(h^{-1}\) este o bijecție de clasă \(C^1\) între mulțimi deschise, cu iacobianul nenul; aceasta rezultă din teorema funcției inverse.
Pasul 1 (proprietățile lui \(T\) și \(h^{-1}\)). Folosim teorema funcției inverse, un rezultat de analiză pe care îl admitem: dacă \(h\) este o funcție de clasă \(C^1\) pe o mulțime deschisă \(S\subseteq\R^d\), cu valori în \(\R^d\), și \(J_h(x)\ne0\), atunci \(x\) are o vecinătate deschisă \(V\subseteq S\) astfel încât \(h(V)\) este deschisă, iar \(h:V\to h(V)\) este bijectivă, cu inversa de clasă \(C^1\). În ipotezele noastre, \(J_h(x)\ne0\) în orice punct \(x\in S\), deci fiecare punct al lui \(S\) are o astfel de vecinătate \(V\). Mulțimea \(T=h(S)\) este reuniunea acestor mulțimi deschise \(h(V)\), deci este deschisă. Cum \(h\) este injectivă pe \(S\), \(h:S\to T\) este bijectivă, iar inversa ei \(h^{-1}:T\to S\) coincide pe fiecare \(h(V)\) cu inversa locală, deci este de clasă \(C^1\). Derivând identitatea \(h\big(h^{-1}(y)\big)=y\), \(y\in T\), cu regula de derivare a funcțiilor compuse, obținem pentru matricele iacobiene \(Dh\big(h^{-1}(y)\big)\,Dh^{-1}(y)=I_d\); determinantul unui produs este produsul determinanților, deci \(J_h\big(h^{-1}(y)\big)\,J_{h^{-1}}(y)=1\), adică (17). În particular, \(J_{h^{-1}}\ne0\) pe \(T\).
Pasul 2 (probabilitatea unei mulțimi boreliene). Fie \(C\in\B(\R^d)\) și \(E=\{x\in S:\ h(x)\in C\}\). Funcția \(h\) este continuă pe mulțimea deschisă \(S\), deci \(E\) este o mulțime boreliană (Secțiunea 11.1, punctul 10: preimaginea unei mulțimi închise este intersecția lui \(S\) cu o mulțime închisă, iar mulțimile \(C\) pentru care \(E\) este boreliană formează o \(\sigma\)-algebră). Din proprietatea densității lui \(X\) (Definiția 35(b)), \[
\PP\big(X\in S,\ h(X)\in C\big)=\PP(X\in E)=\int_Ef_X(x)\dd x=\int_S\Ind_C\big(h(x)\big)\,f_X(x)\dd x .
\]
Pasul 3 (schimbarea de variabilă). Aplicăm (16) cu \(\Delta=T\), \(D=S\), \(\varphi=h^{-1}\) (o bijecție de clasă \(C^1\) de la mulțimea deschisă \(T\) la mulțimea deschisă \(S\), cu iacobianul nenul, din Pasul 1) și funcția boreliană \(\psi(x)=\Ind_C\big(h(x)\big)f_X(x)\ge0\). Cum \(h\big(h^{-1}(y)\big)=y\), avem \(\psi\big(\varphi(y)\big)=\Ind_C(y)\,f_X\big(h^{-1}(y)\big)\), deci \[
\begin{aligned}
\PP\big(X\in S,\ h(X)\in C\big)&=\int_T\Ind_C(y)\,f_X\big(h^{-1}(y)\big)\,\big|J_{h^{-1}}(y)\big|\dd y\\
&=\int_Cf_X\big(h^{-1}(y)\big)\,\big|J_{h^{-1}}(y)\big|\,\Ind_T(y)\dd y .
\end{aligned} \tag{$\ast$}
\] Până aici nu am folosit ipoteza \(\PP(X\in S)=1\); vom avea nevoie de această observație în demonstrația Teoremei 54.
Pasul 4 (concluzia). Cum \(\PP(X\in S)=1\) și \(Y=h(X)\) pe \(\{X\in S\}\) (pe evenimentul de probabilitate nulă \(\{X\notin S\}\) definim \(Y\) oricum), \(\PP(Y\in C)=\PP\big(X\in S,\ h(X)\in C\big)\). Din (\(\ast\)), cu \(f_Y\) funcția din (18), \[
\PP(Y\in C)=\int_Cf_Y(y)\dd y\qquad\text{pentru orice }C\in\B(\R^d).
\] Luând \(C=(-\infty,y_1]\times\dots\times(-\infty,y_d]\) și scriind integrala pe \(C\) ca integrală iterată (teorema lui Fubini), obținem relația din Definiția 35(b): \(Y\) este un vector continuu, cu densitatea \(f_Y\ge0\).■
Cum se aplică teorema. Mulțimea \(S\) se alege astfel încât să evităm mulțimile neglijabile pe care \(h\) nu este injectivă sau netedă (o dreaptă, o semiaxă, originea): este suficient ca \(\PP(X\in S)=1\). De obicei scriem direct inversa, \(x=h^{-1}(y)\), și calculăm \(J_{h^{-1}}\). Imaginea \(T=h(S)\) trebuie determinată cu grijă: indicatorul \(\Ind_T\) face parte din densitate. Independența componentelor lui \(Y\) se citește din densitatea obținută (Propoziția 38(c)).
Metoda variabilei auxiliare. Teorema cere ca \(h\) să transforme \(\R^d\) în \(\R^d\). Dacă ne interesează repartiția unei singure funcții \(U=g_1(X,Y)\), o completăm cu o a doua, \(V=g_2(X,Y)\), aleasă cât mai simplu (de obicei \(V=X\) sau \(V=Y\)) astfel încât \(h=(g_1,g_2)\) să verifice ipotezele teoremei; calculăm \(f_{(U,V)}\) și apoi „integrăm variabila auxiliară” (Propoziția 36): \(f_U(u)=\int_{\R}f_{(U,V)}(u,v)\dd v\).
Exemplul 37(Raportul a două exponențiale)
Fie \((X,Y)\) un vector cu densitatea \(f\), \(U=X/Y\) și variabila auxiliară \(V=Y\). Pe mulțimea deschisă \(S=\{(x,y):\ y\ne0\}\), de probabilitate \(1\), funcția \(h(x,y)=(x/y,\,y)\) este injectivă și de clasă \(C^1\), cu \(J_h(x,y)=1/y\ne0\) și inversa \(h^{-1}(u,v)=(uv,\,v)\), definită pe \(T=\{(u,v):\ v\ne0\}\), cu \(J_{h^{-1}}(u,v)=v\). Din Teorema 52, \(f_{(U,V)}(u,v)=|v|\,f(uv,v)\), iar integrând variabila auxiliară regăsim Propoziția 50(d): \(f_{X/Y}(u)=\int_{\R}|v|\,f(uv,v)\dd v\). Pentru \(X\sim\Exp(\lambda)\) și \(Y\sim\Exp(\mu)\) independente, integrandul este nenul numai dacă \(v>0\) și \(uv>0\), deci \(f_{X/Y}(u)=0\) pentru \(u\le0\), iar pentru \(u>0\), folosind \(\int_0^\infty v\,e^{-av}\dd v=\frac1{a^2}\), \[
f_{X/Y}(u)=\int_0^\infty v\,\lambda e^{-\lambda uv}\,\mu e^{-\mu v}\dd v=\frac{\lambda\mu}{(\lambda u+\mu)^2},\qquad F_{X/Y}(u)=\int_0^u\frac{\lambda\mu\dd t}{(\lambda t+\mu)^2}=\frac{\lambda u}{\lambda u+\mu} .
\] În particular, \(\PP(X<Y)=F_{X/Y}(1)=\frac{\lambda}{\lambda+\mu}\), iar raportul nu are medie (\(u\,f_{X/Y}(u)\) este de ordinul \(1/u\) la \(\infty\)), deși \(X\) și \(Y\) au toate momentele finite.
Calculele în detaliu. În prima integrală grupăm exponențialele, \(e^{-\lambda uv}e^{-\mu v}=e^{-(\lambda u+\mu)v}\), și folosim formula citată cu \(a=\lambda u+\mu>0\) (ea rezultă integrând prin părți sau din \(\Gamma(2)=1\), cu schimbarea de variabilă \(t=av\)). În a doua, o primitivă a funcției \(t\mapsto\frac{\lambda\mu}{(\lambda t+\mu)^2}\) este \(-\frac{\mu}{\lambda t+\mu}\), deci \(F_{X/Y}(u)=1-\frac{\mu}{\lambda u+\mu}=\frac{\lambda u}{\lambda u+\mu}\). De exemplu, pentru \(\lambda=1\) și \(\mu=2\): \(\PP(X<Y)=\frac13\), iar mediana raportului (soluția ecuației \(F_{X/Y}(u)=\frac12\)) este \(\frac\mu\lambda=2\).
Exemplul 38(Raportul a două normale standard: repartiția Cauchy)
Fie \(X\) și \(Y\) independente, \(\Norm(0,1)\), și \(Z=X/Y\). Din a doua relație (13), cu \(f_X=f_Y=\phi\), grupând exponențialele, \(\phi(zy)\,\phi(y)=\frac{1}{2\pi}e^{-(1+z^2)y^2/2}\), deci \[
f_Z(z)=\int_{\R}|y|\,\phi(zy)\,\phi(y)\dd y=\frac{1}{2\pi}\int_{\R}|y|\,e^{-(1+z^2)y^2/2}\dd y=\frac{1}{\pi}\int_0^\infty y\,e^{-(1+z^2)y^2/2}\dd y
\] (integrandul este o funcție pară de \(y\)). Cu primitiva \(-\frac{1}{1+z^2}\,e^{-(1+z^2)y^2/2}\), \[
f_Z(z)=\frac1\pi\Big[-\frac{e^{-(1+z^2)y^2/2}}{1+z^2}\Big]_0^\infty=\frac{1}{\pi(1+z^2)},\qquad z\in\R .
\] Raportul a două normale standard independente are deci repartiția Cauchy din Tabelul 2 (ca tangenta unui unghi uniform, Exemplul 7(b)); în particular nu are medie (Exemplul 14(b)), din același motiv ca în Exemplul 37: valorile numitorului apropiate de \(0\) produc rapoarte uriașe. Spre deosebire de cazul exponențial, aici domeniul de integrare este toată dreapta, deoarece densitățile sunt nenule peste tot. Din \(F_Z(z)=\frac12+\frac1\pi\arctan z\) rezultă, de exemplu, \(\PP(|X/Y|\le1)=\frac2\pi\arctan1=\frac12\), cum cere și simetria (\(|X|\le|Y|\) și \(|Y|\le|X|\) sunt la fel de probabile).
Corolarul 53(Transformări afine de vectori aleatori)
Fie \(X\) un vector aleator \(d\)-dimensional cu densitatea \(f_X\), \(A\) o matrice \(d\times d\) inversabilă și \(b\in\R^d\). Atunci \(Y=AX+b\) are densitatea \[
f_Y(y)=\frac{1}{|\det A|}\,f_X\big(A^{-1}(y-b)\big),\qquad y\in\R^d .
\]
Demonstrație. Aplicăm Teorema 52 cu \(S=\R^d\) și \(h(x)=Ax+b\). Funcția \(h\) este injectivă (din \(Ax+b=Ax'+b\) rezultă \(A(x-x')=0\), deci \(x=x'\), \(A\) fiind inversabilă) și de clasă \(C^1\): componenta \(i\) este \(h_i(x)=\sum_ja_{ij}x_j+b_i\), cu \(\partial h_i/\partial x_j=a_{ij}\), deci matricea iacobiană este constantă, egală cu \(A\), și \(J_h=\det A\ne0\). Orice \(y\in\R^d\) este imaginea punctului \(A^{-1}(y-b)\), deci \(T=\R^d\) și \(h^{-1}(y)=A^{-1}(y-b)\). Din (17), \(|J_{h^{-1}}(y)|=1/|\det A|\), iar (18) dă formula din enunț.■
Exemplul 39(Suma și diferența a două normale standard)
Fie \(X\) și \(Y\) independente, \(\Norm(0,1)\), \(U=X+Y\) și \(V=X-Y\). Vectorul \((X,Y)\) are densitatea \(\frac1{2\pi}e^{-(x^2+y^2)/2}\), iar \((U,V)^\top=A\,(X,Y)^\top\), cu \(A=\begin{pmatrix}1&1\\1&-1\end{pmatrix}\) și \(\det A=-2\); inversând, \(x=\frac{u+v}2\), \(y=\frac{u-v}2\) și \(x^2+y^2=\frac{u^2+v^2}{2}\). Din Corolarul 53, \[
f_{(U,V)}(u,v)=\frac{1}{|-2|}\cdot\frac1{2\pi}\exp\Big(-\frac{u^2+v^2}{4}\Big)=\frac{1}{\sqrt{4\pi}}\,e^{-u^2/4}\cdot\frac{1}{\sqrt{4\pi}}\,e^{-v^2/4},\qquad(u,v)\in\R^2 .
\] Fiecare factor este densitatea \(\Norm(0,2)\); din Propoziția 38(c), \(X+Y\) și \(X-Y\) sunt independente, fiecare cu repartiția \(\Norm(0,2)\). Este cazul cel mai simplu (\(n=2\)) al independenței dintre media și varianța de selecție ale unui eșantion normal, pe care o vom demonstra, prin aceeași metodă, în Cursul 5.
Exemplul 40(Media și abaterile de la medie pentru trei normale standard)
Fie \(X_1,X_2,X_3\) i.i.d. \(\Norm(0,1)\) și \(\Xbar=\frac13(X_1+X_2+X_3)\) (aici \(n=3\)). Determinăm, cu Teorema 52 în dimensiunea \(d=3\), densitatea vectorului \[
Y=(Y_1,Y_2,Y_3)=\big(\Xbar,\ X_2-\Xbar,\ X_3-\Xbar\big).
\]
Pasul 1 (inversa). Rezolvăm sistemul \(y_1=\bar x\), \(y_2=x_2-\bar x\), \(y_3=x_3-\bar x\) (cu \(\bar x=\frac13(x_1+x_2+x_3)\)) în necunoscutele \(x_1,x_2,x_3\): din ultimele două ecuații, \(x_2=y_1+y_2\) și \(x_3=y_1+y_3\), iar din \(x_1+x_2+x_3=3y_1\), \(x_1=3y_1-x_2-x_3=y_1-y_2-y_3\). Soluția există și este unică pentru orice \(y\in\R^3\), deci \(h(x)=(\bar x,x_2-\bar x,x_3-\bar x)\) este o bijecție liniară a lui \(\R^3\): este de clasă \(C^1\), iar iacobianul ei, determinantul unei matrice inversabile, este o constantă nenulă. Ipotezele teoremei sunt deci îndeplinite cu \(S=T=\R^3\), iar \[
h^{-1}(y)=\big(y_1-y_2-y_3,\ y_1+y_2,\ y_1+y_3\big).
\]
Pasul 2 (iacobianul). Derivatele parțiale ale componentelor lui \(h^{-1}\) sunt coeficienții lor; dezvoltând determinantul după prima linie, \[
J_{h^{-1}}(y)=\det\begin{pmatrix}1&-1&-1\\1&1&0\\1&0&1\end{pmatrix}=1\cdot1-(-1)\cdot1+(-1)\cdot(-1)=3 .
\]
Pasul 3 (exponentul). Înlocuim \(x=h^{-1}(y)\) în \(x_1^2+x_2^2+x_3^2\). Termenii care conțin \(y_1\) la puterea întâi se reduc, \(-2y_1(y_2+y_3)+2y_1y_2+2y_1y_3=0\), și rămâne \[
\big(y_1-(y_2+y_3)\big)^2+(y_1+y_2)^2+(y_1+y_3)^2=3y_1^2+(y_2+y_3)^2+y_2^2+y_3^2 .
\]
Pasul 4 (densitatea). Din Propoziția 38(b), \(f_X(x)=(2\pi)^{-3/2}e^{-(x_1^2+x_2^2+x_3^2)/2}\); din (18) și din \(\frac{3}{(2\pi)^{3/2}}=\sqrt{\frac{3}{2\pi}}\cdot\frac{\sqrt3}{2\pi}\), \[
\begin{aligned}
f_Y(y)&=f_X\big(h^{-1}(y)\big)\cdot|3|=\frac{3}{(2\pi)^{3/2}}\,\exp\Big(-\frac12\big(3y_1^2+(y_2+y_3)^2+y_2^2+y_3^2\big)\Big)\\
&=\underbrace{\sqrt{\frac{3}{2\pi}}\,e^{-3y_1^2/2}}_{a(y_1)}\cdot\underbrace{\frac{\sqrt3}{2\pi}\,\exp\Big(-\frac12\big((y_2+y_3)^2+y_2^2+y_3^2\big)\Big)}_{b(y_2,y_3)},\qquad y\in\R^3 .
\end{aligned}
\]
Pasul 5 (concluzia). Densitatea este produsul dintre o funcție de \(y_1\) și o funcție de \((y_2,y_3)\), pe tot spațiul. Din Propoziția 38(c), \(\Xbar\) este independentă de vectorul \((X_2-\Xbar,\,X_3-\Xbar)\); factorul \(a\) este densitatea \(\Norm(0,\frac13)\), deci \(\Xbar\sim\Norm(0,\frac13)\), în acord cu Exemplul 30. Mai mult, abaterile de la medie au suma nulă, deci \(X_1-\Xbar=-(Y_2+Y_3)\), iar varianța de selecție \(S^2=\frac12\sum_{i=1}^3(X_i-\Xbar)^2=\frac12\big((Y_2+Y_3)^2+Y_2^2+Y_3^2\big)\) este o funcție continuă \(g(Y_2,Y_3)\) a vectorului \((Y_2,Y_3)\). Cum \(\{S^2\in B\}=\{(Y_2,Y_3)\in g^{-1}(B)\}\) pentru orice borelian \(B\), independența lui \(\Xbar\) de vectorul \((Y_2,Y_3)\) (Definiția 37) dă \(\PP(\Xbar\in A,\ S^2\in B)=\PP(\Xbar\in A)\,\PP(S^2\in B)\): \(\Xbar\) și \(S^2\) sunt independente (argumentul din Propoziția 39, pentru vectori). Pentru un eșantion normal de volum \(n\), calculul este același, cu iacobianul \(n\) (Cursul 5).
Ca în dimensiunea unu, dacă \(h\) nu este injectivă, dar domeniul ei se împarte în mulțimi deschise pe care este injectivă, contribuțiile „ramurilor” se adună.
Teorema 54(Transformări neinjective de vectori aleatori)
Fie \(X\) un vector aleator \(d\)-dimensional cu densitatea \(f_X\) și \(S_1,\dots,S_m\subseteq\R^d\) mulțimi deschise, disjuncte două câte două, cu \(\PP(X\in S_1\cup\dots\cup S_m)=1\). Fie \(h:S_1\cup\dots\cup S_m\to\R^d\) o funcție a cărei restricție la fiecare \(S_k\) este injectivă și de clasă \(C^1\), cu \(J_h(x)\ne0\) pentru orice \(x\in S_k\). Notăm \(T_k=h(S_k)\) și \(h_k^{-1}:T_k\to S_k\) inversa restricției lui \(h\) la \(S_k\). Atunci \(Y=h(X)\) are densitatea \[
f_Y(y)=\sum_{k=1}^mf_X\big(h_k^{-1}(y)\big)\,\big|J_{h_k^{-1}}(y)\big|\,\Ind_{T_k}(y),\qquad y\in\R^d .
\tag{19}\] Concluzia rămâne adevărată pentru o familie numărabilă \((S_k)_{k\ge1}\) cu aceleași proprietăți, suma devenind o serie.
Demonstrație.Ideea demonstrației. Ca în demonstrația Teoremei 19: descompunem după mulțimea \(S_k\) în care se află \(X\) și aplicăm, pe fiecare \(S_k\), calculul din demonstrația Teoremei 52.
Pasul 1 (descompunerea). Evenimentele \(\{X\in S_k\}\), \(k=1,\dots,m\), sunt disjuncte două câte două, iar reuniunea lor are probabilitatea \(1\) (pe evenimentul de probabilitate nulă pe care \(X\) nu aparține niciunei mulțimi \(S_k\) definim \(Y\) oricum). Deci, pentru orice \(C\in\B(\R^d)\), \[
\PP(Y\in C)=\sum_{k=1}^m\PP\big(X\in S_k,\ h(X)\in C\big).
\]
Pasul 2 (o ramură). Fixăm \(k\). Restricția lui \(h\) la mulțimea deschisă \(S_k\) este injectivă, de clasă \(C^1\), cu iacobianul nenul; Pașii 1–3 din demonstrația Teoremei 52 (în care nu s-a folosit ipoteza \(\PP(X\in S)=1\)) se aplică deci cu \(S_k\) în locul lui \(S\): \(T_k\) este deschisă, \(h_k^{-1}\) este de clasă \(C^1\) și, din relația (\(\ast\)) a acelei demonstrații, \[
\PP\big(X\in S_k,\ h(X)\in C\big)=\int_Cf_X\big(h_k^{-1}(y)\big)\,\big|J_{h_k^{-1}}(y)\big|\,\Ind_{T_k}(y)\dd y .
\]
Pasul 3 (adunăm ramurile). Din Pașii 1 și 2 și din liniaritatea integralei, \(\PP(Y\in C)=\int_Cf_Y(y)\dd y\) pentru orice \(C\in\B(\R^d)\), cu \(f_Y\) din (19); ca în Pasul 4 al demonstrației Teoremei 52, \(f_Y\) este o densitate a lui \(Y\). Pentru o familie numărabilă \((S_k)_{k\ge1}\) folosim \(\sigma\)-aditivitatea în Pasul 1 și integrăm seria cu termeni nenegativi termen cu termen (teorema convergenței monotone, admisă, ca în Pasul 6 al demonstrației Teoremei 19).■
Vezi și (Jacod and Protter 2004, cap. 12). Și aici mulțimile \(T_k\) pot fi diferite, deci numărul termenilor nenuli ai sumei depinde de \(y\).
Exemplul 41(Coordonatele polare a două normale standard)
Fie \(X\) și \(Y\) independente, \(\Norm(0,1)\), și \((R,\Theta)\) coordonatele polare ale punctului \((X,Y)\): \(R=\sqrt{X^2+Y^2}\), iar \(\Theta\in[0,2\pi)\) este unghiul pentru care \((X,Y)=(R\cos\Theta,R\sin\Theta)\). Lucrăm pe mulțimea deschisă \(S=\R^2\setminus\{(x,0):\ x\ge0\}\) (planul fără o semiaxă, de arie nulă), cu \(\PP\big((X,Y)\in S\big)=1\). Funcția \(g(r,\theta)=(r\cos\theta,r\sin\theta)\) este o bijecție de clasă \(C^1\) de la \(T=(0,\infty)\times(0,2\pi)\) la \(S\), cu iacobianul \[
J_g(r,\theta)=\det\begin{pmatrix}\cos\theta&-r\sin\theta\\ \sin\theta&r\cos\theta\end{pmatrix}=r\cos^2\theta+r\sin^2\theta=r>0 ,
\] deci, din teorema funcției inverse, \(h=g^{-1}:S\to T\), \(h(x,y)=(r,\theta)\), este de clasă \(C^1\), cu \(J_h=1/r\ne0\). Din Teorema 52 (cu \(h^{-1}=g\)), pentru orice vector \((X,Y)\) cu densitatea \(f\), \(f_{(R,\Theta)}(r,\theta)=r\,f(r\cos\theta,r\sin\theta)\,\Ind_T(r,\theta)\). În cazul normal, \(f(x,y)=\frac{1}{2\pi}e^{-(x^2+y^2)/2}\) și \[
f_{(R,\Theta)}(r,\theta)=r\,e^{-r^2/2}\,\Ind_{(0,\infty)}(r)\cdot\frac1{2\pi}\,\Ind_{(0,2\pi)}(\theta),
\] produsul dintre o funcție de \(r\) și o funcție de \(\theta\), fiecare de integrală \(1\). Din Propoziția 38(c), \(R\) și \(\Theta\) sunt independente, \(\Theta\sim\Unif(0,2\pi)\), iar \(R\) are densitatea \(re^{-r^2/2}\), \(r>0\) (repartiția Rayleigh). Pentru \(W=R^2=X^2+Y^2\), Teorema 17, aplicată funcției \(r\mapsto r^2\) pe \(I=(0,\infty)\), cu inversa \(w\mapsto\sqrt w\), dă \(f_W(w)=\sqrt w\,e^{-w/2}\cdot\frac{1}{2\sqrt w}=\frac12\,e^{-w/2}\), \(w>0\): \(X^2+Y^2\sim\Exp(\frac12)\), în acord cu Exemplele 9 și 31. Citit în sens invers, rezultatul este o rețetă de simulare a două normale standard independente (metoda Box–Muller, Cursul 4).
Exemplul 42(Minimul și maximul a două variabile i.i.d.)
Fie \(X\) și \(Y\) i.i.d., cu densitatea \(f\) și funcția de repartiție \(F\), \(U=\min(X,Y)\) și \(V=\max(X,Y)\). Funcția \(h(x,y)=\big(\min(x,y),\max(x,y)\big)\)nu este injectivă: \(h(x,y)=h(y,x)\). Aplicăm Teorema 54 cu mulțimile deschise disjuncte \(S_1=\{(x,y):\ x<y\}\) și \(S_2=\{(x,y):\ x>y\}\); complementara reuniunii lor este diagonala \(\{x=y\}\), de arie nulă, deci \(\PP\big((X,Y)\in S_1\cup S_2\big)=1\). Pe \(S_1\), \(h(x,y)=(x,y)\), iar pe \(S_2\), \(h(x,y)=(y,x)\); ambele restricții sunt injective, cu iacobianul \(1\), respectiv \(-1\), și au aceeași imagine, \(T_1=T_2=\{(u,v):\ u<v\}\), cu \(h_1^{-1}(u,v)=(u,v)\) și \(h_2^{-1}(u,v)=(v,u)\). Cu \(f_{(X,Y)}(x,y)=f(x)f(y)\), relația (19) dă \[
f_{(U,V)}(u,v)=\big(f(u)f(v)+f(v)f(u)\big)\,\Ind_{\{u<v\}}=2\,f(u)\,f(v)\,\Ind_{\{u<v\}} .
\] Factorul \(2\) este analogul continuu al celui din Exemplul 33. Densitățile marginale, \(f_V(v)=\int_{-\infty}^v2f(u)f(v)\dd u=2f(v)F(v)\) și \(f_U(u)=\int_u^\infty2f(u)f(v)\dd v=2f(u)\big(1-F(u)\big)\), sunt cele din Propoziția 51 (pentru \(n=2\)). Pentru \(n\) variabile i.i.d., același raționament, cu cele \(n!\) mulțimi deschise \(\{x_{\sigma(1)}<\dots<x_{\sigma(n)}\}\), arată că valorile ordonate crescător au densitatea comună \(n!\,f(u_1)\cdots f(u_n)\) pe \(\{u_1<\dots<u_n\}\) (Cursul 6).
Figura 2 verifică prin simulare rezultatul din Exemplul 41: histograma unor valori simulate ale lui \(X^2+Y^2\) urmează densitatea \(\Exp(\frac12)\).
Figura 2: Histograma a \(10^5\) valori simulate ale lui \(X^2+Y^2\), pentru \(X,Y\) independente \(\Norm(0,1)\), și densitatea \(\Exp(1/2)\) (curba roșie).
8 Convergența șirurilor de variabile aleatoare
În statistică lucrăm aproape întotdeauna cu șiruri de v.a. indexate de volumul \(n\) al eșantionului: media \(\Xbar\), o proporție, un estimator \(\hth_n\). Proprietățile lor „pentru \(n\) mare” se exprimă prin diverse tipuri de convergență (Knight 2000, sec. 3.2; Jacod and Protter 2004, cap. 17–18; Resnick 1999, cap. 6 și 8). Mai jos, \((X_n)_{n\ge1}\) și \(X\) sunt definite pe același câmp de probabilitate (convergența în repartiție nu cere nici măcar acest lucru).
8.1 Tipuri de convergență
Cele patru tipuri de convergență diferă prin ce anume cer să fie „mic” pentru \(n\) mare.
Definiția 55(Tipuri de convergență)
\(X_n\)converge în probabilitate la \(X\), \(X_n\pto X\), dacă \(\PP\big(|X_n-X|>\varepsilon\big)\to0\) pentru orice \(\varepsilon>0\).
\(X_n\)converge aproape sigur la \(X\), \(X_n\asto X\), dacă \(\PP\big(\{\omega:\ X_n(\omega)\to X(\omega)\}\big)=1\).
Pentru \(p\ge1\) și \(\E|X_n|^p,\E|X|^p<\infty\), \(X_n\)converge în medie de ordin \(p\) la \(X\), \(X_n\xrightarrow{L^p}X\), dacă \(\E|X_n-X|^p\to0\) (pentru \(p=2\): în medie pătratică).
\(X_n\)converge în repartiție la \(X\), \(X_n\dto X\), dacă \(F_{X_n}(x)\to F_X(x)\) în orice punct \(x\) de continuitate al lui \(F_X\).
Convergența în repartiție privește doar repartițiile; dacă limita are repartiția \(\Norm(0,\sigma^2)\) scriem, prin abuz de notație, \(X_n\dto\Norm(0,\sigma^2)\). Restricția la punctele de continuitate este esențială: pentru \(X_n=1/n\) (constant) și \(X=0\), \(F_{X_n}(0)=0\not\to F_X(0)=1\), deși \(X_n\to0\) în orice sens rezonabil.
Exemplul 43(Convergențe verificate cu definiția)
Toate tipurile deodată. Fie \(Y\sim\Exp(1)\) și \(X_n=Y/n\). Pentru orice \(\omega\), \(X_n(\omega)=Y(\omega)/n\to0\), deci \(X_n\asto0\). În probabilitate, direct din definiție: pentru \(\varepsilon>0\), \(\PP(|X_n-0|>\varepsilon)=\PP(Y>n\varepsilon)=e^{-n\varepsilon}\to0\). În medie pătratică: \(\E\big[(X_n-0)^2\big]=\E[Y^2]/n^2=2/n^2\to0\) (Exemplul 16). În repartiție: \(F_{X_n}(x)=\PP(Y\le nx)=1-e^{-nx}\to1\) pentru \(x>0\) și \(F_{X_n}(x)=0\) pentru \(x\le0\); limita coincide cu funcția de repartiție \(\Ind_{[0,\infty)}\) a constantei \(0\) în orice \(x\ne0\), adică în toate punctele ei de continuitate (în \(x=0\), \(F_{X_n}(0)=0\not\to1\), dar acolo definiția nu cere nimic).
Maximul unor uniforme: o limită care nu este normală. Fie \(U_i\) i.i.d. \(\Unif(0,1)\) și \(M_n=\max(U_1,\dots,U_n)\), cu \(F_{M_n}(x)=x^n\) pe \([0,1]\) (Exemplul 36). Pentru \(\varepsilon\in(0,1)\), cum \(M_n\le1\), \(\PP(|M_n-1|>\varepsilon)=\PP(M_n<1-\varepsilon)=(1-\varepsilon)^n\to0\), adică \(M_n\pto1\). Cât de repede? Pentru \(x\ge0\) și \(n\ge x\), \[
\PP\big(n(1-M_n)\le x\big)=\PP\Big(M_n\ge1-\frac xn\Big)=1-\Big(1-\frac xn\Big)^n\xrightarrow[n\to\infty]{}1-e^{-x}
\] (Lema 62), iar pentru \(x<0\) probabilitatea este \(0\). Limita este funcția de repartiție \(\Exp(1)\), adică \(n(1-M_n)\dto\Exp(1)\). Numeric, pentru \(n=100\): \(\PP(M_{100}>0.99)=1-0.99^{100}\approx0.634\), față de \(1-e^{-1}\approx0.632\). Factorul de normalizare este aici \(n\), nu \(\sqrt n\), iar limita nu este normală.
De la discret la continuu. Fie \(X_n\) uniformă pe \(\{\frac1n,\frac2n,\dots,1\}\). Pentru \(x\in[0,1]\), \(F_{X_n}(x)=\frac{\lfloor nx\rfloor}{n}\) (numărul valorilor \(\frac kn\le x\), împărțit la \(n\)), iar din \(nx-1<\lfloor nx\rfloor\le nx\) rezultă \(|F_{X_n}(x)-x|\le\frac1n\to0\); pentru \(x<0\) și pentru \(x>1\), \(F_{X_n}(x)\) și \(F_U(x)\) sunt ambele \(0\), respectiv \(1\). Deci \(X_n\dto U\sim\Unif(0,1)\), deși fiecare \(X_n\) este discretă. Convergența în repartiție nu spune nimic despre probabilitățile unor mulțimi oarecare: \(\PP(X_n\in\mathbb{Q})=1\) pentru orice \(n\), pe când \(\PP(U\in\mathbb{Q})=0\).
Teorema 56(Relațiile dintre convergențe)
Fie \(X_n\), \(X\) v.a. și \(c\in\R\).
\(X_n\asto X\Rightarrow X_n\pto X\).
Dacă \(1\le p\le q\): \(X_n\xrightarrow{L^q}X\Rightarrow X_n\xrightarrow{L^p}X\Rightarrow X_n\pto X\).
\(X_n\pto X\Rightarrow X_n\dto X\).
\(X_n\dto c\Rightarrow X_n\pto c\) (când limita este constantă, reciproca lui (c) are loc).
Demonstrație.Ideea demonstrației. (a) Convergența a.s. spune că abaterea \(|X_m-X|\) depășește \(\varepsilon\) doar de un număr finit de ori; continuitatea probabilității transformă aceasta în \(\PP(\text{abaterea depășește }\varepsilon\text{ după rangul }n)\to0\). (b) Inegalitățile lui Lyapunov și Markov. (c), (d) Comparăm evenimentele \(\{X_n\le x\}\) și \(\{X\le x\pm\varepsilon\}\): ele pot diferi doar pe evenimentul \(\{|X_n-X|>\varepsilon\}\), de probabilitate mică.
Fie \(\varepsilon>0\) și \(A_n=\bigcup_{m\ge n}\{|X_m-X|>\varepsilon\}\) („abaterea depășește \(\varepsilon\) undeva după rangul \(n\)”). Șirul \((A_n)\) este descrescător, iar \(A=\bigcap_nA_n\) este evenimentul „abaterea depășește \(\varepsilon\) pentru o infinitate de indici”. Dacă \(\omega\in A\), atunci \(X_m(\omega)\not\to X(\omega)\), deci \(A\subseteq\{X_n\not\to X\}\) și, din ipoteză și monotonie, \(\PP(A)=0\). Din continuitatea probabilității (Propoziția 3(f)), \(\PP(A_n)\to\PP(A)=0\). Cum \(\{|X_n-X|>\varepsilon\}\subseteq A_n\) (termenul \(m=n\) al reuniunii), \(\PP(|X_n-X|>\varepsilon)\le\PP(A_n)\to0\).
Prima implicație. Aplicăm inegalitatea lui Lyapunov (Corolarul 29(c)) variabilei \(Y=X_n-X\) (care are moment de ordin \(q\) finit, deoarece \(|u-v|^q\le2^{q-1}(|u|^q+|v|^q)\)): \(\big(\E|X_n-X|^p\big)^{1/p}\le\big(\E|X_n-X|^q\big)^{1/q}\), adică \[
\E|X_n-X|^p\le\big(\E|X_n-X|^q\big)^{p/q}\xrightarrow[n\to\infty]{}0 .
\]A doua implicație. Pentru \(\varepsilon>0\), din inegalitatea lui Markov (Propoziția 26(a), forma a doua), \(\PP(|X_n-X|>\varepsilon)\le\PP(|X_n-X|\ge\varepsilon)\le\E|X_n-X|^p/\varepsilon^p\to0\).
Fie \(x\) un punct de continuitate al lui \(F_X\) și \(\varepsilon>0\). Marginea superioară. Dacă \(X_n\le x\) și \(|X_n-X|\le\varepsilon\), atunci \(X\le X_n+\varepsilon\le x+\varepsilon\); deci \(\{X_n\le x\}\subseteq\{X\le x+\varepsilon\}\cup\{|X_n-X|>\varepsilon\}\). Marginea inferioară. Dacă \(X\le x-\varepsilon\) și \(|X_n-X|\le\varepsilon\), atunci \(X_n\le X+\varepsilon\le x\); deci \(\{X\le x-\varepsilon\}\subseteq\{X_n\le x\}\cup\{|X_n-X|>\varepsilon\}\). Din monotonie și subaditivitate (Propoziția 3(c), (e)), \[
F_X(x-\varepsilon)-\PP(|X_n-X|>\varepsilon)\le F_{X_n}(x)\le F_X(x+\varepsilon)+\PP(|X_n-X|>\varepsilon).
\] Făcând \(n\to\infty\) (cu \(\varepsilon\) fixat) și folosind \(\PP(|X_n-X|>\varepsilon)\to0\): \[
F_X(x-\varepsilon)\le\liminf_nF_{X_n}(x)\le\limsup_nF_{X_n}(x)\le F_X(x+\varepsilon).
\] Cele două limite din mijloc nu depind de \(\varepsilon\); făcând \(\varepsilon\searrow0\), ambele margini tind la \(F_X(x)\), din continuitatea lui \(F_X\) în \(x\). Deci \(\liminf_nF_{X_n}(x)=\limsup_nF_{X_n}(x)=F_X(x)\), adică \(F_{X_n}(x)\to F_X(x)\).
Funcția de repartiție a constantei \(c\) este \(F_c=\Ind_{[c,\infty)}\), continuă în orice \(x\ne c\). Fie \(\varepsilon>0\). Punctele \(c-\varepsilon\) și \(c+\frac\varepsilon2\) sunt puncte de continuitate, deci, din ipoteză, \(F_{X_n}(c-\varepsilon)\to F_c(c-\varepsilon)=0\) și \(F_{X_n}(c+\frac\varepsilon2)\to F_c(c+\frac\varepsilon2)=1\). Dacă \(|X_n-c|>\varepsilon\), atunci \(X_n<c-\varepsilon\) sau \(X_n>c+\varepsilon>c+\frac\varepsilon2\); deci \(\{|X_n-c|>\varepsilon\}\subseteq\{X_n\le c-\varepsilon\}\cup\{X_n>c+\frac\varepsilon2\}\) și \[
\PP(|X_n-c|>\varepsilon)\le F_{X_n}(c-\varepsilon)+1-F_{X_n}\big(c+\tfrac\varepsilon2\big)\xrightarrow[n\to\infty]{}0+1-1=0 .
\]
■
Vezi și (Jacod and Protter 2004, cap. 17–18). Schematic: \(\{X_n\asto X\) sau \(X_n\xrightarrow{L^p}X\}\Rightarrow X_n\pto X\Rightarrow X_n\dto X\); nicio altă implicație generală nu are loc.
Exemplul 44(Contraexemple)
Pe \(\big([0,1],\B([0,1]),\text{lungimea}\big)\): (a) a.s. fără \(L^1\): \(X_n=n\Ind_{(0,1/n)}\) converge la \(0\) în orice punct \(\omega\) (deci a.s. și în probabilitate), dar \(\E|X_n|=n\cdot\frac1n=1\not\to0\); (b) \(L^p\) fără a.s. („mașina de scris”): pentru \(n=2^k+j\), \(0\le j<2^k\), fie \(X_n=\Ind_{[j2^{-k},(j+1)2^{-k}]}\); atunci \(\E|X_n|^p=2^{-k}<2/n\to0\), deci \(X_n\xrightarrow{L^p}0\), dar șirul \(X_n(\omega)\) nu converge pentru niciun \(\omega\) (în fiecare bloc \(2^k\le n<2^{k+1}\), \(k\ge2\), el ia atât valoarea \(1\), cât și valoarea \(0\)); (c) în repartiție fără în probabilitate: pentru \(X\sim\Norm(0,1)\) și \(X_n=-X\), \(X_n\eqd X\), deci \(X_n\dto X\), dar \(\PP(|X_n-X|>1)=\PP(|X|>\frac12)\approx0.617\) nu tinde la \(0\).
Calculele în detaliu și implicația infirmată de fiecare contraexemplu.
Fie \(\omega\in(0,1]\). De îndată ce \(n\ge1/\omega\), \(\omega\notin(0,\frac1n)\), deci \(X_n(\omega)=0\); iar \(X_n(0)=0\) pentru orice \(n\). Șirul \(X_n(\omega)\) este deci nul de la un rang încolo (care depinde de \(\omega\)), dar \(\E|X_n|=n\cdot\PP\big((0,\tfrac1n)\big)=1\): masa \(\frac1n\) așezată la înălțimea \(n\) nu împiedică convergența punctuală, însă menține media egală cu \(1\). Așadar \(\asto\)nu implică \(\xrightarrow{L^1}\).
Primii termeni sunt indicatorii intervalelor \([0,1]\); \([0,\frac12]\), \([\frac12,1]\); \([0,\frac14]\), \([\frac14,\frac12]\), \([\frac12,\frac34]\), \([\frac34,1]\); \(\dots\): intervale tot mai scurte, care „mătură” la nesfârșit segmentul \([0,1]\). Cum \(X_n\) ia doar valorile \(0\) și \(1\), \(\E|X_n|^p=\PP(X_n=1)=2^{-k}\) și, pentru \(\varepsilon\in(0,1)\), \(\PP(|X_n|>\varepsilon)=2^{-k}\to0\). Dar orice \(\omega\) este acoperit de câte un interval din fiecare bloc, deci \(X_n(\omega)=1\) pentru o infinitate de indici \(n\) și \(X_n(\omega)=0\) pentru o infinitate de indici. Așadar \(\xrightarrow{L^p}\) (și cu atât mai puțin \(\pto\)) nu implică \(\asto\).
\(|X_n-X|=2|X|\), deci \(\PP(|X_n-X|>1)=\PP\big(|X|>\frac12\big)=2\big(1-\Phi(\frac12)\big)\approx0.617\) pentru orice \(n\). Variabilele \(X_n\) au exact repartiția lui \(X\), dar nu sunt apropiate de \(X\): convergența în repartiție compară doar repartițiile, nu valorile. Așadar \(\dto\)nu implică \(\pto\).
8.2 Teorema aplicațiilor continue și lema lui Slutsky
Nu ne interesează doar \(\Xbar\), ci și funcții de statistici: \(1/\Xbar\), \(\Xbar^2\), \(\sqrt n(\Xbar-\mu)/S_n\). Rezultatele următoare permit transferul convergențelor.
Teorema 57(Teorema aplicațiilor continue)
Fie \(X_n\), \(X\) v.a. (sau vectori aleatori) și \(g\) o funcție boreliană a cărei mulțime de puncte de discontinuitate \(D_g\) verifică \(\PP(X\in D_g)=0\). (a) Dacă \(X_n\asto X\), atunci \(g(X_n)\asto g(X)\). (b) Dacă \(X_n\pto X\), atunci \(g(X_n)\pto g(X)\). (c) Dacă \(X_n\dto X\), atunci \(g(X_n)\dto g(X)\).
Demonstrație.Ideea demonstrației. (a) este caracterizarea cu șiruri a continuității, aplicată pentru fiecare \(\omega\) dintr-un eveniment de probabilitate \(1\). (b) Pe un compact, o funcție continuă este uniform continuă, deci \(|g(X_n)-g(X)|\) este mic de îndată ce \(|X_n-X|\) este mic și \(X\) nu este prea mare. (c) Convergența în repartiție se exprimă prin medii de funcții continue și mărginite (teorema portmanteau), iar compunerea a două funcții continue este continuă.
Evenimentele \(\{X_n\to X\}\) și \(\{X\notin D_g\}\) au probabilitatea \(1\), deci și intersecția lor (complementara intersecției este reuniunea a două evenimente de probabilitate \(0\)). Pentru \(\omega\) din intersecție, \(X_n(\omega)\to X(\omega)\) și \(g\) este continuă în punctul \(X(\omega)\), deci \(g(X_n(\omega))\to g(X(\omega))\) (caracterizarea cu șiruri a continuității). Așadar \(\{g(X_n)\to g(X)\}\) conține un eveniment de probabilitate \(1\).
Demonstrăm aici cazul \(g\) continuă pe \(\R\); cazul general este demonstrat în Secțiunea 11.5, cu ajutorul lemei Borel–Cantelli. Fie \(\varepsilon,\eta>0\).
Pasul 1. Alegem \(M>0\) cu \(\PP(|X|>M)<\eta\): evenimentele \(\{|X|>M\}\) descresc către \(\emptyset\) când \(M\to\infty\), deci probabilitățile lor tind la \(0\) (continuitatea probabilității).
Pasul 2. Pe compactul \(K=[-M-1,M+1]\), \(g\) este uniform continuă (teorema lui Cantor): există \(\delta\in(0,1)\) cu \(|g(x)-g(y)|\le\varepsilon\) pentru orice \(x,y\in K\) cu \(|x-y|\le\delta\).
Pasul 3. Dacă \(|X|\le M\) și \(|X_n-X|\le\delta\), atunci \(X\in K\) și \(|X_n|\le M+\delta<M+1\), deci \(X_n\in K\) și \(|g(X_n)-g(X)|\le\varepsilon\). Prin contrapoziție, \(\{|g(X_n)-g(X)|>\varepsilon\}\subseteq\{|X|>M\}\cup\{|X_n-X|>\delta\}\) și \[
\PP\big(|g(X_n)-g(X)|>\varepsilon\big)\le\PP(|X|>M)+\PP(|X_n-X|>\delta)<\eta+\PP(|X_n-X|>\delta)\xrightarrow[n\to\infty]{}\eta .
\] Deci \(\limsup_n\PP(|g(X_n)-g(X)|>\varepsilon)\le\eta\) pentru orice \(\eta>0\), adică \(\PP(|g(X_n)-g(X)|>\varepsilon)\to0\).
Afirmația este demonstrată în Secțiunea 11.6: pentru v.a. reale, întâi pentru \(g\) continuă (din Teorema 70), apoi în cazul general. Pentru vectori aleatori demonstrația este aceeași, pornind de la varianta pentru vectori a teoremei portmanteau, pe care o admitem (Vaart 1998, Lemma 2.2 și Th. 2.3).
Exemplul 45(Teorema aplicațiilor continue: trei situații)
Limită constantă. Dacă \(X_n\pto2\), atunci \(X_n^2\pto4\), \(e^{-X_n}\pto e^{-2}\) și \(1/X_n\pto\frac12\). În ultimul caz, funcția \(g(x)=1/x\) (cu \(g(0)=0\), de exemplu) este discontinuă numai în \(0\), iar limita este constanta \(2\): \(\PP(X\in D_g)=\PP(2=0)=0\), deci teorema se aplică.
Limită aleatoare. Dacă \(Z_n\dto Z\sim\Norm(0,1)\), atunci \(Z_n^2\dto Z^2\), care are repartiția \(\chi^2\) cu un grad de libertate (Exemplul 9), și \(|Z_n|\dto|Z|\), cu repartiția seminormală (Exemplul 10). De exemplu, \(\PP(Z_n^2\le3.84)\to\PP(Z^2\le3.84)\approx0.95\) (funcția de repartiție a lui \(Z^2\) este continuă, deci orice punct este punct de continuitate).
Ipoteza asupra discontinuităților este necesară. Pentru \(X_n=\frac1n\to0\) și \(g=\Ind_{(0,\infty)}\), \(g(X_n)=1\) pentru orice \(n\), dar \(g(0)=0\): aici \(D_g=\{0\}\) și \(\PP(X\in D_g)=1\).
Pentru sume și produse avem nevoie de convergența simultană a două șiruri. În general, \(X_n\dto X\) și \(Y_n\dto Y\)nu implică \(X_n+Y_n\dto X+Y\) (în Exemplul 44(c), \(X_n=-X\dto X\) și \(Y_n=X\dto X\), dar \(X_n+Y_n=0\)). Totul funcționează însă dacă unul dintre șiruri converge la o constantă.
Teorema 58(Lema lui Slutsky)
Fie \(X_n\dto X\) și \(Y_n\pto c\), unde \(c\in\R\) este o constantă. Atunci:
\(X_n+Y_n\dto X+c\); (b) \(Y_nX_n\dto cX\); (c) dacă \(c\ne0\), \(X_n/Y_n\dto X/c\); (d) mai general, \(h(X_n,Y_n)\dto h(X,c)\) pentru orice \(h:\R^2\to\R\) continuă.
Demonstrație.Ideea demonstrației. Deoarece \(Y_n\) este aproape de constanta \(c\) cu probabilitate mare, \(X_n+Y_n\) diferă puțin de \(X_n+c\), a cărui funcție de repartiție este o translatată a lui \(F_{X_n}\); încadrăm deci \(\PP(X_n+Y_n\le x)\) între valori ale lui \(F_{X_n}\) în puncte apropiate, ca în demonstrația Teoremei 56(c). Produsul și câtul se reduc la sumă, după ce arătăm că \(X_n\) este „mărginit în probabilitate”. Afirmația (d) este demonstrată în Secțiunea 11.6.
Notăm \(F_n=F_{X_n}\) și \(F=F_X\). Vom folosi faptul că mulțimea punctelor de discontinuitate ale lui \(F\) este cel mult numărabilă (observația de după Propoziția 14). Prin urmare, pentru orice \(y\in\R\), mulțimea valorilor \(r>0\) pentru care \(y+r\) sau \(y-r\) este punct de discontinuitate al lui \(F\) este cel mult numărabilă, deci există valori \(r\) oricât de mici și oricât de mari pentru care \(y+r\) și \(y-r\) sunt simultan puncte de continuitate ale lui \(F\).
Pasul 1 (\(X_n\) este „mărginit în probabilitate”). Arătăm că pentru orice \(\eta>0\) există \(M>0\) și \(n_0\) cu \(\PP(|X_n|>M)<\eta\) pentru \(n\ge n_0\). Cum \(F(-M)\to0\) și \(F(M)\to1\) când \(M\to\infty\), putem alege \(M>0\) astfel încât \(\pm M\) să fie puncte de continuitate ale lui \(F\) și \(F(-M)+1-F(M)<\eta/2\). Din \(X_n\dto X\), \(F_n(-M)+1-F_n(M)\to F(-M)+1-F(M)<\eta/2\), deci există \(n_0\) cu \(F_n(-M)+1-F_n(M)<\eta\) pentru \(n\ge n_0\). În fine, \(\{|X_n|>M\}\subseteq\{X_n\le-M\}\cup\{X_n>M\}\), deci \(\PP(|X_n|>M)\le F_n(-M)+1-F_n(M)<\eta\).
Pasul 2 (afirmația (a)). Funcția de repartiție a limitei este \(F_{X+c}(x)=\PP(X\le x-c)=F(x-c)\), iar \(x\) este punct de continuitate al ei exact când \(x-c\) este punct de continuitate al lui \(F\). Fixăm un astfel de \(x\) și fie \(\varepsilon>0\) cu \(x-c\pm\varepsilon\) puncte de continuitate ale lui \(F\) (există \(\varepsilon\) oricât de mici cu această proprietate). Dacă \(X_n+Y_n\le x\) și \(|Y_n-c|\le\varepsilon\), atunci \(X_n\le x-Y_n\le x-c+\varepsilon\); dacă \(X_n\le x-c-\varepsilon\) și \(|Y_n-c|\le\varepsilon\), atunci \(X_n+Y_n\le x-c-\varepsilon+c+\varepsilon=x\). Deci \[
\begin{aligned}
\{X_n+Y_n\le x\}&\subseteq\{X_n\le x-c+\varepsilon\}\cup\{|Y_n-c|>\varepsilon\},\\
\{X_n\le x-c-\varepsilon\}&\subseteq\{X_n+Y_n\le x\}\cup\{|Y_n-c|>\varepsilon\},
\end{aligned}
\] și, din subaditivitate, \[
F_n(x-c-\varepsilon)-\PP(|Y_n-c|>\varepsilon)\le\PP(X_n+Y_n\le x)\le F_n(x-c+\varepsilon)+\PP(|Y_n-c|>\varepsilon).
\] Când \(n\to\infty\), \(\PP(|Y_n-c|>\varepsilon)\to0\) (deoarece \(Y_n\pto c\)), iar \(F_n(x-c\mp\varepsilon)\to F(x-c\mp\varepsilon)\) (puncte de continuitate). Prin urmare \[
F(x-c-\varepsilon)\le\liminf_n\PP(X_n+Y_n\le x)\le\limsup_n\PP(X_n+Y_n\le x)\le F(x-c+\varepsilon).
\] Făcând \(\varepsilon\searrow0\) (prin valori admise), ambele margini tind la \(F(x-c)\), din continuitatea lui \(F\) în \(x-c\). Deci \(\PP(X_n+Y_n\le x)\to F(x-c)=F_{X+c}(x)\).
\(cX_n\dto cX\), din Teorema 57(c) cu funcția continuă \(g(x)=cx\).
\((Y_n-c)X_n\pto0\). Fie \(\varepsilon,\eta>0\) și \(M\), \(n_0\) din Pasul 1. Dacă \(|X_n|\le M\) și \(|Y_n-c|\le\varepsilon/M\), atunci \(|Y_n-c||X_n|\le\varepsilon\); deci, pentru \(n\ge n_0\), \[
\PP\big(|Y_n-c|\,|X_n|>\varepsilon\big)\le\PP(|X_n|>M)+\PP\big(|Y_n-c|>\varepsilon/M\big)<\eta+\PP\big(|Y_n-c|>\varepsilon/M\big)\xrightarrow[n\to\infty]{}\eta ,
\] iar \(\eta>0\) este arbitrar.
Aplicăm acum (a) șirurilor \(cX_n\) (în rolul lui \(X_n\), cu limita \(cX\)) și \((Y_n-c)X_n\) (în rolul lui \(Y_n\), cu limita constantă \(0\)): \(Y_nX_n\dto cX+0=cX\).
Pasul 4 (afirmația (c)). Arătăm că \(1/Y_n\pto1/c\) (convenim ca \(1/Y_n=0\) pe evenimentul \(\{Y_n=0\}\); alegerea nu contează, deoarece \(\PP(Y_n=0)\le\PP(|Y_n-c|\ge|c|)\to0\)). Dacă \(|Y_n-c|\le|c|/2\), atunci \(|Y_n|\ge|c|-|Y_n-c|\ge|c|/2\) și \[
\Big|\frac1{Y_n}-\frac1c\Big|=\frac{|Y_n-c|}{|Y_n|\,|c|}\le\frac{2\,|Y_n-c|}{c^2}.
\] Deci, pentru \(\varepsilon>0\), \(\big\{\big|\frac1{Y_n}-\frac1c\big|>\varepsilon\big\}\subseteq\big\{|Y_n-c|>\frac{|c|}2\big\}\cup\big\{|Y_n-c|>\frac{\varepsilon c^2}{2}\big\}\), iar probabilitățile ambelor evenimente din dreapta tind la \(0\). Aplicăm acum (b) cu \(1/Y_n\) în locul lui \(Y_n\) și \(1/c\) în locul lui \(c\): \(X_n/Y_n=\frac1{Y_n}\cdot X_n\dto\frac1c\,X\).■
Dacă \(\sqrt n(X_n-a)\dto X\) pentru o constantă \(a\) și o v.a. \(X\), atunci \(X_n\pto a\).
Demonstrație. Șirul determinist \(Y_n=1/\sqrt n\) converge la \(0\), deci și în probabilitate (pentru \(\varepsilon>0\), \(\PP(|Y_n|>\varepsilon)=0\) de îndată ce \(n>1/\varepsilon^2\)). Din lema lui Slutsky (Teorema 58(b)), aplicată șirurilor \(\sqrt n(X_n-a)\dto X\) și \(Y_n\pto0\), \[
X_n-a=\frac{1}{\sqrt n}\cdot\sqrt n(X_n-a)\dto0\cdot X=0 .
\] Convergența în repartiție la o constantă implică însă convergența în probabilitate (Teorema 56(d)): \(X_n-a\pto0\), adică \(\PP(|X_n-a|>\varepsilon)\to0\) pentru orice \(\varepsilon>0\), ceea ce înseamnă \(X_n\pto a\).■
În statistică: un estimator \(\hth_n\)asimptotic normal, \(\sqrt n(\hth_n-\theta)\dto\Norm(0,v(\theta))\), este automat consistent, \(\hth_n\pto\theta\) (Cursul 7).
9 Legea numerelor mari și teorema limită centrală
Fie \(X_1,X_2,\dots\) v.a. i.i.d., \(S_n=X_1+\dots+X_n\) și \(\Xbar=S_n/n\). Legea numerelor mari spune unde se concentrează \(\Xbar\), iar teorema limită centrală descrie fluctuațiile lui \(\Xbar\) în jurul acelui punct (Knight 2000, secs. 3.3–3.5; Durrett 2019, cap. 2–3).
9.1 Legea numerelor mari
Prima teoremă limită se demonstrează direct cu inegalitatea lui Cebîșev.
Teorema 60(Legea slabă a numerelor mari)
Fie \((X_n)_{n\ge1}\) v.a. i.i.d. cu media \(\mu\) și varianța \(\sigma^2<\infty\). Atunci, pentru orice \(\varepsilon>0\), \[
\PP\big(|\Xbar-\mu|\ge\varepsilon\big)\le\frac{\sigma^2}{n\varepsilon^2}\xrightarrow[n\to\infty]{}0,
\] deci \(\Xbar\pto\mu\); mai mult, \(\E\big[(\Xbar-\mu)^2\big]=\sigma^2/n\to0\), adică \(\Xbar\Lto\mu\).
Demonstrație. Din Corolarul 43 (v.a. independente sunt necorelate, Propoziția 42(d)), \(\E[\Xbar]=\mu\) și \(\Var(\Xbar)=\sigma^2/n\); deci \(\E[(\Xbar-\mu)^2]=\Var(\Xbar)=\sigma^2/n\to0\), adică \(\Xbar\Lto\mu\) (Definiția 55(c)). Inegalitatea lui Cebîșev (Propoziția 26(b)), aplicată v.a. \(\Xbar\), de medie \(\mu\) și varianță finită, dă \[
\PP\big(|\Xbar-\mu|\ge\varepsilon\big)\le\frac{\Var(\Xbar)}{\varepsilon^2}=\frac{\sigma^2}{n\varepsilon^2}\xrightarrow[n\to\infty]{}0 ,
\] iar \(\PP(|\Xbar-\mu|>\varepsilon)\le\PP(|\Xbar-\mu|\ge\varepsilon)\), deci \(\Xbar\pto\mu\) (Definiția 55(a)).■
Independența a fost folosită doar prin \(\Cov(X_i,X_j)=0\). Ipoteza \(\sigma^2<\infty\) nu este însă necesară pentru concluzie.
Teorema 61(Legea tare a numerelor mari (Kolmogorov))
Fie \((X_n)_{n\ge1}\) v.a. i.i.d. cu \(\E|X_1|<\infty\) și \(\mu=\E[X_1]\). Atunci \(\Xbar\asto\mu\). Reciproc, dacă \(\E|X_1|=\infty\), atunci \(\Xbar\) nu converge a.s. către nicio limită finită.
În generalitatea enunțată, prima afirmație (convergența aproape sigură sub singura ipoteză \(\E|X_1|<\infty\)) este admisă (Durrett 2019, secs. 2.3–2.4; Billingsley 1995, sec. 22). În Secțiunea 11.5 demonstrăm complet convergența sub ipoteza suplimentară \(\E[X_1^4]<\infty\) (Propoziția 69), verificată, de exemplu, de orice v.a. mărginite, precum și afirmația reciprocă.
Interpretarea frecvențială. Fie \(A\) un eveniment legat de un experiment și \(X_i=\Ind_{A_i}\) indicatorul realizării lui \(A\) la repetarea \(i\) (repetări independente). Atunci \(X_i\) sunt i.i.d. \(\Bern(\PP(A))\), cu \(\E[X_i]=\PP(A)\), \(\Xbar=n_A/n\) este frecvența relativă, iar legea tare dă \(n_A/n\asto\PP(A)\): stabilizarea frecvențelor este o teoremă a modelului axiomatic. (Variabilele \(X_i\) fiind mărginite, au moment de ordin \(4\) finit, deci în acest caz convergența este demonstrată complet în Propoziția 69.) Figura 3 arată traiectorii \(n\mapsto\bar x_n\) pentru o populație uniformă, care intră și rămân în banda \(\mu\pm\varepsilon\), și pentru repartiția Cauchy (fără medie, Exemplul 14), pentru care traiectoriile nu se stabilizează.
Arată codul R
set.seed(321)N <-5000traiectorii <-function(x, M) # mediile cumulate a M șiruri de lungime Ndata.frame(n =rep(1:N, M), tr =factor(rep(1:M, each = N)),y =as.vector(apply(matrix(x, N, M), 2, cumsum) / (1:N)))p1 <-ggplot(traiectorii(runif(N *30), 30), aes(n, y, group = tr)) +geom_line(colour ="grey60", linewidth =0.25) +geom_hline(yintercept =0.5+c(-0.02, 0.02), linetype =2) +coord_cartesian(ylim =c(0.4, 0.6)) +labs(title ="Populație U(0, 1)", x ="n", y =expression(bar(x)[n]))p2 <-ggplot(traiectorii(rcauchy(N *5), 5), aes(n, y, colour = tr)) +geom_line(linewidth =0.4, show.legend =FALSE) +coord_cartesian(ylim =c(-8, 8)) +labs(title ="Populație Cauchy", x ="n", y =expression(bar(x)[n]))p1 + p2
Figura 3: Stânga: 30 de traiectorii \(n\mapsto\bar x_n\) pentru o populație \(\Unif(0,1)\) și banda \(\mu\pm0.02\). Dreapta: 5 traiectorii pentru o populație Cauchy standard, pentru care Legea Numerelor Mari nu se aplică.
Exemplul 46(Legea numerelor mari: trei utilizări)
Frecvențe. Aruncăm un zar de \(n\) ori și fie \(X_i\) indicatorul apariției feței \(6\) la aruncarea \(i\): \(X_i\) sunt i.i.d. \(\Bern(\frac16)\), cu \(\mu=\frac16\) și \(\sigma^2=\frac5{36}\). Frecvența relativă \(\Xbar=n_6/n\) converge a.s. la \(\frac16\) (Teorema 61), iar Teorema 60 dă și o margine pentru \(n\) finit: \(\PP\big(|\frac{n_6}{n}-\frac16|\ge0.01\big)\le\frac{5/36}{n\cdot0.01^2}\), adică cel mult \(0.014\) pentru \(n=10^5\).
Medii de funcții. Dacă \(X_i\) sunt i.i.d. și \(\E|g(X_1)|<\infty\), variabilele \(g(X_i)\) sunt i.i.d. (Propoziția 39) și au medie, deci \(\frac1n\sum_{i=1}^ng(X_i)\asto\E[g(X_1)]\). Pentru \(X_i\sim\Unif(0,1)\): \(\frac1n\sum_iX_i^2\asto\E[X_1^2]=\frac13\) și \(\frac1n\sum_ie^{-X_i^2}\asto\int_0^1e^{-x^2}\dd x\approx0.7468\). A doua limită arată cum se aproximează o integrală prin media unor valori simulate: este principiul metodei Monte Carlo (Cursul 4).
Funcții de medii. Dacă \(\E[X_1^2]<\infty\), din (b) și din Teorema 57(a), cu funcția continuă \(h(a,b)=b-a^2\): \(\frac1n\sum_iX_i^2-\Xbar^2\asto\E[X_1^2]-(\E X_1)^2=\Var(X_1)\); pentru \(\Unif(0,1)\), limita este \(\frac13-\frac14=\frac1{12}\). Varianța calculată din date se apropie de varianța populației (Exemplul 49).
9.2 Teorema limită centrală
Legea numerelor mari spune că \(\Xbar-\mu\to0\). Cu ce viteză? Din \(\Var(\Xbar-\mu)=\sigma^2/n\), abaterea este de ordinul \(\sigma/\sqrt n\), deci are sens să studiem \(\sqrt n(\Xbar-\mu)/\sigma\), care are media \(0\) și varianța \(1\) pentru orice \(n\). Remarcabil este faptul că repartiția ei limită este întotdeauna normală. Instrumentul demonstrației este f.g.m., prin două rezultate auxiliare: o limită remarcabilă și analogul „asimptotic” al Teoremei de unicitate 33 (J. H. Curtiss, 1942).
Lema 62(O limită remarcabilă)
Dacă \(a_n\to a\in\R\), atunci \(\big(1+\frac{a_n}{n}\big)^n\to e^{a}\).
Demonstrație.Ideea demonstrației. Logaritmăm: \(n\ln(1+a_n/n)\) diferă de \(a_n\) printr-un termen de ordinul \(a_n^2/n\), deoarece \(\ln(1+x)=x+O(x^2)\) lângă \(0\).
Pasul 1 (o inegalitate pentru logaritm). Pentru \(|x|\le1/2\), din seria \(\ln(1+x)=\sum_{k\ge1}(-1)^{k+1}x^k/k\) (convergentă pentru \(|x|<1\)), termenul cu \(k=1\) fiind \(x\), iar \(\frac1k\le\frac12\) pentru \(k\ge2\), \[
\begin{aligned}
|\ln(1+x)-x|&=\Big|\sum_{k\ge2}(-1)^{k+1}\frac{x^k}{k}\Big|\le\frac12\sum_{k\ge2}|x|^k=\frac{x^2}2\sum_{j\ge0}|x|^j\\
&=\frac{x^2}{2}\cdot\frac{1}{1-|x|}\le\frac{x^2}{2}\cdot\frac{1}{1-1/2}=x^2 .
\end{aligned}
\]
Pasul 2 (limita). Șirul \((a_n)\) fiind convergent, este mărginit: \(|a_n|\le C\) pentru orice \(n\). Pentru \(n\ge2C\), \(|a_n/n|\le1/2\) (în particular \(1+a_n/n>0\)), deci, din Pasul 1 cu \(x=a_n/n\), \[
\Big|n\ln\Big(1+\frac{a_n}{n}\Big)-a_n\Big|=n\,\Big|\ln\Big(1+\frac{a_n}{n}\Big)-\frac{a_n}{n}\Big|\le n\cdot\frac{a_n^2}{n^2}\le\frac{C^2}{n}\xrightarrow[n\to\infty]{}0 .
\] Așadar \(n\ln(1+a_n/n)=a_n+\big(n\ln(1+a_n/n)-a_n\big)\to a+0=a\), iar din continuitatea exponențialei, \(\big(1+\frac{a_n}{n}\big)^n=\exp\big(n\ln(1+\frac{a_n}n)\big)\to e^a\).■
Teorema 63(Teorema de continuitate a f.g.m. (Curtiss))
Fie \(X_n\), \(X\) v.a. și \(h>0\) astfel încât \(M_{X_n}(t)<\infty\) și \(M_X(t)<\infty\) pentru orice \(t\in(-h,h)\) și orice \(n\). Dacă \(M_{X_n}(t)\to M_X(t)\) pentru orice \(t\in(-h,h)\), atunci \(X_n\dto X\).
Demonstrația ei combină teorema de unicitate cu un argument de compactitate pentru șiruri de funcții de repartiție (teorema de selecție a lui Helly) și depășește cadrul cursului; o admitem (Billingsley 1995, sec. 25 și 30; Casella and Berger 2002, sec. 2.3).
Teorema 64(Teorema limită centrală)
Fie \((X_n)_{n\ge1}\) v.a. i.i.d. cu media \(\mu\) și varianța \(\sigma^2\in(0,\infty)\). Atunci \[
Z_n:=\frac{S_n-n\mu}{\sigma\sqrt n}=\sqrt n\,\frac{\Xbar-\mu}{\sigma}\dto\Norm(0,1),
\] adică \(\PP(Z_n\le x)\to\Phi(x)\) pentru orice \(x\in\R\). Echivalent, \(\sqrt n(\Xbar-\mu)\dto\Norm(0,\sigma^2)\).
Demonstrație.Ideea demonstrației. Arătăm că \(M_{Z_n}(s)\to e^{s^2/2}\), f.g.m. a repartiției \(\Norm(0,1)\), pentru \(s\) într-o vecinătate a lui \(0\), și aplicăm teorema lui Curtiss. F.g.m. a lui \(Z_n\) este puterea a \(n\)-a a f.g.m. a unei singure variabile standardizate, calculată în \(s/\sqrt n\); dezvoltarea Taylor de ordin doi a acesteia, \(1+\frac{s^2}{2n}+\dots\), și limita remarcabilă \((1+a_n/n)^n\to e^a\) dau rezultatul. Din repartiția variabilelor standardizate, la limită nu rămân decât media \(0\) și varianța \(1\).
Pasul 1 (standardizarea). Fie \(Y_i=(X_i-\mu)/\sigma\). Variabilele \(Y_i\) sunt i.i.d. (funcții de v.a. independente, Propoziția 39), cu \(\E[Y_i]=0\) și \(\E[Y_i^2]=\Var(Y_i)=\Var(X_i)/\sigma^2=1\) (Propoziția 25(b)), iar \[
Z_n=\frac{S_n-n\mu}{\sigma\sqrt n}=\frac{1}{\sqrt n}\sum_{i=1}^n\frac{X_i-\mu}{\sigma}=\frac1{\sqrt n}\sum_{i=1}^nY_i .
\] Prin ipoteză, \(M_X(t)<\infty\) pentru \(|t|<h\). Din Lema 31 (cu \(a=-\mu/\sigma\), \(b=1/\sigma\)), f.g.m. comună \(M_Y\) a variabilelor \(Y_i\) verifică \(M_Y(s)=e^{-\mu s/\sigma}M_X(s/\sigma)<\infty\) pentru \(|s/\sigma|<h\), adică pentru \(|s|<h':=\sigma h\).
Pasul 2 (dezvoltarea Taylor a lui \(M_Y\)). Din Teorema 32, \(M_Y\) este indefinit derivabilă pe \((-h',h')\), cu \(M_Y(0)=1\), \(M_Y'(0)=\E[Y_1]=0\) și \(M_Y''(0)=\E[Y_1^2]=1\). Formula lui Taylor de ordin doi în \(0\), cu restul în forma Peano, dă \[
M_Y(u)=M_Y(0)+M_Y'(0)\,u+\frac{M_Y''(0)}{2}\,u^2+r(u)=1+\frac{u^2}{2}+r(u),\qquad \frac{r(u)}{u^2}\xrightarrow[u\to0]{}0 .
\]
Pasul 3 (f.g.m. a lui \(Z_n\)). Fie \(0<|s|<h'\); atunci și \(|s/\sqrt n|<h'\). Din Propoziția 46(c), suma \(\sum_iY_i\) are f.g.m. \(M_Y^n\), iar din Propoziția 46(a) (cu \(a=0\), \(b=1/\sqrt n\)), \(M_{Z_n}(s)=M_{\sum_iY_i}(s/\sqrt n)\). Deci, cu \(u=s/\sqrt n\) în Pasul 2, \[
M_{Z_n}(s)=\Big[M_Y\Big(\frac{s}{\sqrt n}\Big)\Big]^n=\Big(1+\frac{s^2}{2n}+r\Big(\frac{s}{\sqrt n}\Big)\Big)^n=\Big(1+\frac{a_n}{n}\Big)^n,
\qquad a_n:=\frac{s^2}{2}+n\,r\Big(\frac{s}{\sqrt n}\Big).
\] În particular, \(M_{Z_n}(s)<\infty\) pentru \(|s|<h'\) și orice \(n\).
Pasul 4 (limita). Scriem \(n\,r(s/\sqrt n)=s^2\cdot\dfrac{r(s/\sqrt n)}{(s/\sqrt n)^2}\). Cum \(s/\sqrt n\to0\) când \(n\to\infty\) (\(s\) fiind fixat), din Pasul 2 raportul tinde la \(0\), deci \(a_n\to s^2/2\). Lema 62 dă \[
M_{Z_n}(s)=\Big(1+\frac{a_n}{n}\Big)^n\xrightarrow[n\to\infty]{}e^{s^2/2}\qquad\text{pentru orice }0<|s|<h' ,
\] iar pentru \(s=0\) ambii membri sunt egali cu \(1\).
Pasul 5 (concluzia). Limita \(e^{s^2/2}\) este f.g.m. a repartiției \(\Norm(0,1)\) (Exemplul 22), finită pe \(\R\); ipotezele Teoremei 63 sunt verificate pe intervalul \((-h',h')\), deci \(Z_n\dto Z\sim\Norm(0,1)\). Funcția \(\Phi\) fiind continuă în orice punct, convergența în repartiție înseamnă \(\PP(Z_n\le x)\to\Phi(x)\) pentru orice \(x\in\R\). În fine, \(\sqrt n(\Xbar-\mu)=\sigma Z_n\) și, cum \(\sigma>0\), \(\PP(\sigma Z_n\le x)=\PP(Z_n\le x/\sigma)\to\Phi(x/\sigma)\), care este funcția de repartiție a lui \(\sigma Z\sim\Norm(0,\sigma^2)\) (Propoziția 18(b)); deci \(\sqrt n(\Xbar-\mu)\dto\Norm(0,\sigma^2)\).■
În practică, TLC se folosește sub forma aproximărilor \(S_n\approx\Norm(n\mu,n\sigma^2)\) și \(\Xbar\approx\Norm(\mu,\sigma^2/n)\) pentru \(n\) „suficient de mare”. Cât de mare depinde de populație: cu cât aceasta este mai asimetrică, cu atât convergența este mai lentă (în Figura 4, pentru o populație exponențială, asimetria se mai vede la \(n=10\)).
Figura 4: Histogramele a \(10\,000\) de valori simulate ale lui \(Z_n=\sqrt n(\bar X_n-\mu)/\sigma\) pentru o populație \(\Exp(1)\), cu \(n=2,10,100\); curba roșie este densitatea \(\Norm(0,1)\).
Corolarul 65(Teorema Moivre–Laplace)
Dacă \(S_n\sim\Bin(n,p)\), \(p\in(0,1)\), atunci \(\dfrac{S_n-np}{\sqrt{np(1-p)}}\dto\Norm(0,1)\).
Demonstrație. Fie \(X_1,X_2,\dots\) i.i.d. \(\Bern(p)\), cu \(\mu=\E[X_i]=p\) și \(\sigma^2=\Var(X_i)=p(1-p)\in(0,\infty)\) (Exemplul 16), și \(S_n'=X_1+\dots+X_n\). Din Teorema 64 (variabilele Bernoulli admit f.g.m., deci demonstrația dată se aplică), \(\frac{S_n'-np}{\sqrt{np(1-p)}}\dto\Norm(0,1)\). Cum \(S_n'\sim\Bin(n,p)\) (Secțiunea 7.4), \(S_n\) și \(S_n'\) au aceeași repartiție, deci și variabilele standardizate corespunzătoare au aceeași funcție de repartiție; convergența în repartiție, care depinde numai de funcțiile de repartiție, are loc și pentru \(S_n\).■
Deoarece \(S_n\) ia valori întregi, aproximarea se îmbunătățește cu corecția de continuitate, \(\PP(a\le S_n\le b)\approx\Phi\big(\frac{b+1/2-np}{\sigma_n}\big)-\Phi\big(\frac{a-1/2-np}{\sigma_n}\big)\) pentru \(a\le b\) întregi, cu \(\sigma_n=\sqrt{np(1-p)}\). De exemplu, pentru numărul \(S\) de apariții ale feței \(6\) în \(600\) de aruncări ale unui zar, \(\PP(90\le S\le110)\approx2\Phi(10.5/9.129)-1\approx0.750\) (valoarea exactă este \(0.7501\); fără corecție obținem \(0.727\)).
Exemplul 47(Trei aplicații numerice ale TLC)
Schema este mereu aceeași: identificăm media \(\mu\) și varianța \(\sigma^2\) ale unui termen, standardizăm suma (sau media) și înlocuim repartiția variabilei standardizate cu \(\Norm(0,1)\).
Erori de rotunjire. Adunăm \(n=48\) de numere rotunjite la întreg; modelăm erorile de rotunjire \(X_i\) ca v.a. i.i.d. \(\Unif(-\frac12,\frac12)\), cu \(\mu=0\) și \(\sigma^2=\frac1{12}\). Eroarea totală \(S_{48}\) are media \(0\) și varianța \(\frac{48}{12}=4\), deci \[
\PP\big(|S_{48}|\le3\big)=\PP\Big(\Big|\frac{S_{48}-0}{2}\Big|\le1.5\Big)\approx2\Phi(1.5)-1\approx0.8664
\] (valoarea exactă, calculată din repartiția sumei a \(48\) de uniforme, este \(0.8661\)). Deși eroarea totală ar putea ajunge, în principiu, la \(24\), ea depășește \(3\) doar în circa \(13\%\) din cazuri.
Suma a \(100\) de zaruri. Pentru un zar, \(\mu=3.5\) și \(\sigma^2=\frac{91}{6}-3.5^2=\frac{35}{12}\), deci \(S_{100}\) are media \(350\) și abaterea standard \(\sqrt{100\cdot35/12}\approx17.08\). Cum \(S_{100}\) ia valori întregi, folosim corecția de continuitate, ca mai sus: \[
\PP(S_{100}\ge370)=\PP(S_{100}>369.5)\approx1-\Phi\Big(\frac{369.5-350}{17.08}\Big)=1-\Phi(1.142)\approx0.1268 .
\] Valoarea exactă (obținută în R, aplicând repetat formula de convoluție (11)) este \(0.1269\); fără corecție am obține \(0.1208\).
O singură variabilă, privită ca sumă. O v.a. \(X\sim\Pois(100)\) are aceeași repartiție ca suma a \(100\) de v.a. i.i.d. \(\Pois(1)\) (Exemplul 29), fiecare cu \(\mu=\sigma^2=1\); TLC se aplică deci și ei: \(\PP(X\le110)\approx\Phi\big(\frac{110.5-100}{10}\big)=\Phi(1.05)\approx0.8531\), față de valoarea exactă \(0.8529\) (ppois(110, 100)). La fel, repartițiile \(\Bin(n,p)\) și \(\GammaD(n,\lambda)\) sunt aproximativ normale pentru \(n\) mare, fiind repartiții ale unor sume de v.a. i.i.d.
Exemplul 48(Aproximarea Poisson a binomialei)
Fie \(X_n\sim\Bin(n,\lambda/n)\), cu \(\lambda>0\) fixat și \(n>\lambda\). Din Tabelul 3 și Lema 62 cu \(a_n=a=\lambda(e^t-1)\), \[
M_{X_n}(t)=\Big(1-\frac\lambda n+\frac\lambda ne^{t}\Big)^n=\Big(1+\frac{\lambda(e^{t}-1)}{n}\Big)^n\xrightarrow[n\to\infty]{}e^{\lambda(e^{t}-1)}=M_{\Pois(\lambda)}(t)
\] pentru orice \(t\in\R\); din Teorema 63, \(X_n\dto\Pois(\lambda)\). Punctele \(k\pm\frac12\) fiind puncte de continuitate ale funcției de repartiție limită, rezultă \(\PP(X_n=k)=F_{X_n}\big(k+\tfrac12\big)-F_{X_n}\big(k-\tfrac12\big)\to e^{-\lambda}\lambda^k/k!\) pentru orice \(k\in\N\). Aceasta justifică folosirea repartiției Poisson pentru evenimente rare.
Combinând TLC cu lema lui Slutsky obținem rezultatele asimptotice ale statisticii.
Exemplul 49(Statistica t pentru o populație oarecare)
Fie \(X_1,X_2,\dots\) i.i.d. cu media \(\mu\) și varianța \(\sigma^2\in(0,\infty)\) și \(S_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\Xbar)^2\). Arătăm că \[
T_n=\frac{\sqrt n(\Xbar-\mu)}{S_n}\dto\Norm(0,1).
\] Din \(\sum_i(X_i-\Xbar)^2=\sum_iX_i^2-n\Xbar^2\), \(S_n^2=\frac{n}{n-1}\big(\frac1n\sum_{i=1}^nX_i^2-\Xbar^2\big)\). Legea tare a numerelor mari (Teorema 61), aplicată șirurilor i.i.d. \((X_i)\) și \((X_i^2)\), dă \(\Xbar\asto\mu\) și \(\frac1n\sum_iX_i^2\asto\E[X_1^2]=\sigma^2+\mu^2\), deci \(S_n^2\asto\sigma^2\) și, din Teoremele 57(a) și 56(a), \(\sigma/S_n\pto1\). Scriem \(T_n=\frac{\sqrt n(\Xbar-\mu)}{\sigma}\cdot\frac{\sigma}{S_n}\): primul factor converge în repartiție la \(Z\sim\Norm(0,1)\) (Teorema 64), iar al doilea converge în probabilitate la constanta \(1\); din lema lui Slutsky (Teorema 58(b)), \(T_n\dto Z\). Pentru o populație normală, \(T_n\) are exact repartiția Student \(\Stud{n-1}\) (Cursul 5); pentru orice populație cu varianță finită, \(T_n\) are asimptotic repartiția \(\Norm(0,1)\), ceea ce justifică intervalul aproximativ \(\bar x_n\pm1.96\,s_n/\sqrt n\) pentru medie (Cursul 12).
Exemplul 50(Lema lui Slutsky: două aplicații numerice)
Înlocuirea unui parametru necunoscut. Fie \(X_1,X_2,\dots\) i.i.d. \(\Pois(\lambda)\) (numărul de evenimente din intervale de timp disjuncte), cu \(\mu=\sigma^2=\lambda\). Din TLC, \(\sqrt n(\Xbar-\lambda)/\sqrt\lambda\dto\Norm(0,1)\), dar numitorul conține parametrul necunoscut. Din legea numerelor mari, \(\Xbar\asto\lambda>0\), deci \(\sqrt{\lambda/\Xbar}\pto1\) (Teoremele 57 și 56(a), cu funcția \(g(x)=\sqrt{\lambda/x}\) pentru \(x>0\) și \(g(x)=0\) pentru \(x\le0\), continuă în \(\lambda\); convenția privește doar evenimentul \(\{\Xbar=0\}\), de probabilitate \(e^{-n\lambda}\)), iar din lema lui Slutsky (Teorema 58(b)), \[
\frac{\sqrt n(\Xbar-\lambda)}{\sqrt{\Xbar}}=\frac{\sqrt n(\Xbar-\lambda)}{\sqrt\lambda}\cdot\sqrt{\frac{\lambda}{\Xbar}}\dto\Norm(0,1).
\] Deci, pentru \(n\) mare, \(\PP\big(|\Xbar-\lambda|\le1.96\sqrt{\Xbar/n}\big)\approx0.95\). Numeric: dacă în \(n=50\) de intervale s-au înregistrat \(210\) evenimente, atunci \(\bar x_n=4.2\) și \(1.96\sqrt{4.2/50}\approx0.57\), deci valorile lui \(\lambda\) compatibile cu datele sunt \(4.2\pm0.57\), adică între \(3.63\) și \(4.77\) (Cursul 12).
O funcție a mediei. Fie \(X_1,X_2,\dots\) i.i.d. cu media \(\mu\ne0\) și varianța \(\sigma^2\in(0,\infty)\). Cât de precis estimează \(\Xbar^2\) pe \(\mu^2\)? Descompunem diferența de pătrate: \[
\sqrt n\big(\Xbar^2-\mu^2\big)=(\Xbar+\mu)\cdot\sqrt n(\Xbar-\mu).
\] Al doilea factor converge în repartiție la \(W\sim\Norm(0,\sigma^2)\) (Teorema 64), iar primul converge în probabilitate la constanta \(2\mu\) (Teorema 60); din lema lui Slutsky și din Propoziția 18(b), \(\sqrt n(\Xbar^2-\mu^2)\dto2\mu W\sim\Norm(0,4\mu^2\sigma^2)\). Numeric: latura unei plăci pătrate este măsurată de \(n=25\) de ori, cu \(\mu=10\) cm și \(\sigma=0.2\) cm; aria, \(\mu^2=100\) cm\(^2\), se estimează prin \(\Xbar^2\), a cărei abatere standard este aproximativ \(\frac{2\mu\sigma}{\sqrt n}=\frac{2\cdot10\cdot0.2}{5}=0.8\) cm\(^2\), deci \(\PP\big(|\Xbar^2-100|\le1.6\big)\approx2\Phi(2)-1\approx0.954\). Factorul \(2\mu\) este derivata funcției \(g(x)=x^2\) în punctul \(\mu\): este un prim exemplu al metodei Delta, pe care o vom studia în Cursul 6; un al doilea este Exercițiul 3.
10 Exerciții rezolvate
Primele două exerciții combină independența cu minimul, maximul și suma unor v.a. exponențiale; al treilea reunește legea numerelor mari, inegalitatea lui Jensen, TLC și lema lui Slutsky într-o primă problemă de statistică. În fiecare rezolvare spunem întâi ce se cere și ce rezultat folosim, apoi facem calculul complet.
Exercițiul 1(Minimul unor exponențiale independente)
Un sistem este format din \(n\) componente legate în serie, cu timpii de funcționare \(X_i\sim\Exp(\lambda_i)\) independente; sistemul se defectează la prima defectare a unei componente. (a) Arătați că timpul de funcționare \(T=\min(X_1,\dots,X_n)\) a sistemului are repartiția \(\Exp(\Lambda)\), \(\Lambda=\sum_i\lambda_i\). (b) Arătați că \(\PP(X_1<X_2)=\lambda_1/(\lambda_1+\lambda_2)\). (c) Verificați prin simulare pentru \(\lambda=(1,2,3)\).
Soluție
Ce se cere și ce folosim. Repartiția unui minim se determină cel mai ușor prin probabilitățile de „supraviețuire” \(\PP(T>t)\), ca în Propoziția 51: evenimentul \(\{T>t\}\) este o intersecție de evenimente independente. La sfârșit recunoaștem funcția de repartiție obținută.
Pentru \(t\ge0\), \(\PP(X_i>t)=\int_t^\infty\lambda_ie^{-\lambda_ix}\dd x=\big[-e^{-\lambda_ix}\big]_t^\infty=e^{-\lambda_it}\). Minimul depășește \(t\) dacă și numai dacă toate \(X_i\) depășesc \(t\), adică \(\{T>t\}=\bigcap_{i=1}^n\{X_i>t\}\); din independență (forma echivalentă a Definiției 37, cu \(B_i=(t,\infty)\)), \[
\PP(T>t)=\prod_{i=1}^n\PP(X_i>t)=\prod_{i=1}^ne^{-\lambda_it}=e^{-(\lambda_1+\dots+\lambda_n)t}=e^{-\Lambda t},
\] deci \(F_T(t)=1-e^{-\Lambda t}\) pentru \(t\ge0\), iar pentru \(t<0\), \(F_T(t)=0\) (toate \(X_i\) sunt pozitive a.s.). Aceasta este funcția de repartiție \(\Exp(\Lambda)\) (cu derivata \(\Lambda e^{-\Lambda t}\) pe \((0,\infty)\)); în particular \(\E[T]=1/\Lambda\) (Tabelul 2).
Interpretare. Ratele de defectare se adună: un sistem în serie cu \(n\) componente identice, de rată \(\lambda\), are rata \(n\lambda\) și timpul mediu de funcționare \(\frac{1}{n\lambda}\), de \(n\) ori mai mic decât al unei componente. Remarcăm că \(T\) este din nou exponențială, pe când suma unor exponențiale nu este (Exemplul 31).
Ce se cere și ce folosim. Evenimentul \(\{X_1<X_2\}\) privește perechea \((X_1,X_2)\), deci probabilitatea lui este integrala densității comune pe mulțimea corespunzătoare din plan.
\(X_1\) și \(X_2\) fiind independente, \((X_1,X_2)\) are densitatea \(\lambda_1e^{-\lambda_1x}\lambda_2e^{-\lambda_2y}\) pe \((0,\infty)^2\) (Propoziția 38(b)). Probabilitatea evenimentului \(\{X_1<X_2\}=\{(X_1,X_2)\in B\}\), cu \(B=\{(x,y):x<y\}\), este integrala densității pe \(B\) (Definiția 35(b)); o calculăm ca integrală iterată, întâi după \(y\in(x,\infty)\) (Fubini). Integrala interioară este \(\int_x^\infty\lambda_2e^{-\lambda_2y}\dd y=e^{-\lambda_2x}\), deci \[
\begin{aligned}
\PP(X_1<X_2)&=\int_0^\infty\lambda_1e^{-\lambda_1x}\Big(\int_x^\infty\lambda_2e^{-\lambda_2y}\dd y\Big)\dd x=\int_0^\infty\lambda_1e^{-\lambda_1x}e^{-\lambda_2x}\dd x\\
&=\lambda_1\Big[-\frac{e^{-(\lambda_1+\lambda_2)x}}{\lambda_1+\lambda_2}\Big]_0^\infty=\frac{\lambda_1}{\lambda_1+\lambda_2}.
\end{aligned}
\]Așadar \(\PP(X_1<X_2)=\lambda_1/(\lambda_1+\lambda_2)\): componenta cu rata de defectare mai mare se defectează prima cu probabilitate mai mare. Același rezultat se citește din Exemplul 37: \(\PP(X_1<X_2)=F_{X_1/X_2}(1)\).
Ce calculăm. Pentru \(\lambda=(1,2,3)\), \(\Lambda=6\), \(\E[T]=1/6\), \(\PP(T>0.2)=e^{-1.2}\approx0.301\) și \(\PP(X_1<X_2)=1/3\):
Codul generează \(10^5\) realizări ale vectorului \((X_1,X_2,X_3)\) (câte una pe fiecare linie a matricei X), calculează minimul pe fiecare linie și afișează, în perechi, valoarea obținută prin simulare și valoarea exactă: media lui \(T\) (\(0.1665\), față de \(\frac16\approx0.1667\)), frecvența relativă a evenimentului \(\{T>0.2\}\) (\(0.3002\), față de \(e^{-1.2}\approx0.3012\)) și cea a evenimentului \(\{X_1<X_2\}\) (\(0.3348\), față de \(\frac13\)). Diferențele sunt de ordinul \(10^{-3}\), cât eroarea unei simulări cu \(10^5\) repetări.
Exercițiul 2(Două componente: în paralel sau cu rezervă)
Un echipament are două componente, cu timpii de funcționare \(X\sim\Exp(\lambda)\) și \(Y\sim\Exp(\mu)\) independenți, \(\lambda\ne\mu\). În montajul în paralel ambele componente pornesc simultan, iar echipamentul funcționează cât timp funcționează cel puțin una dintre ele: \(T_p=\max(X,Y)\). În montajul cu rezervă, a doua componentă pornește abia la defectarea primei: \(T_r=X+Y\). (a) Determinați densitatea și media lui \(T_p\). (b) Determinați densitatea și media lui \(T_r\). (c) Comparați cele două montaje și calculați \(\PP(T_p>1)\) și \(\PP(T_r>1)\) pentru \(\lambda=1\) și \(\mu=2\).
Soluție
Ce se cere și ce folosim.\(T_p\) este maximul a două v.a. independente, deci funcția lui de repartiție este produsul funcțiilor de repartiție, iar densitatea este dată de (15).
Din Propoziția 51, cu \(F_X(t)=1-e^{-\lambda t}\) și \(F_Y(t)=1-e^{-\mu t}\) pentru \(t\ge0\), \(F_{T_p}(t)=(1-e^{-\lambda t})(1-e^{-\mu t})\) și, din (15), pentru \(t>0\), \[
\begin{aligned}
f_{T_p}(t)&=\lambda e^{-\lambda t}\big(1-e^{-\mu t}\big)+\mu e^{-\mu t}\big(1-e^{-\lambda t}\big)\\
&=\lambda e^{-\lambda t}+\mu e^{-\mu t}-(\lambda+\mu)e^{-(\lambda+\mu)t},
\end{aligned}
\] iar \(f_{T_p}(t)=0\) pentru \(t\le0\). Cei trei termeni sunt densitățile \(\Exp(\lambda)\), \(\Exp(\mu)\) și \(\Exp(\lambda+\mu)\), cu mediile \(\frac1\lambda\), \(\frac1\mu\) și \(\frac1{\lambda+\mu}\) (Tabelul 2), deci \[
\E[T_p]=\int_0^\infty t\,f_{T_p}(t)\dd t=\frac1\lambda+\frac1\mu-\frac{1}{\lambda+\mu} .
\]Deci \(f_{T_p}(t)=\lambda e^{-\lambda t}+\mu e^{-\mu t}-(\lambda+\mu)e^{-(\lambda+\mu)t}\) pentru \(t>0\) și \(\E[T_p]=\frac1\lambda+\frac1\mu-\frac1{\lambda+\mu}\). În detaliu, integrala se desface, prin liniaritate, în \(\int_0^\infty t\,\lambda e^{-\lambda t}\dd t+\int_0^\infty t\,\mu e^{-\mu t}\dd t-\int_0^\infty t\,(\lambda+\mu)e^{-(\lambda+\mu)t}\dd t\), iar fiecare termen este media unei repartiții exponențiale. Aceeași descompunere verifică și faptul că \(f_{T_p}\) este o densitate: \(\int_0^\infty f_{T_p}(t)\dd t=1+1-1=1\).
Ce se cere și ce folosim.\(T_r\) este suma a două v.a. independente cu densități, deci densitatea ei este convoluția celor două densități; singura dificultate este domeniul de integrare.
Din formula de convoluție (13), \(f_{T_r}(t)=\int_{\R}f_X(x)f_Y(t-x)\dd x\). Integrandul este nenul numai pentru \(x>0\) și \(t-x>0\), adică \(0<x<t\); deci \(f_{T_r}(t)=0\) pentru \(t\le0\), iar pentru \(t>0\)\[
\begin{aligned}
f_{T_r}(t)&=\int_0^t\lambda e^{-\lambda x}\,\mu e^{-\mu(t-x)}\dd x=\lambda\mu\,e^{-\mu t}\int_0^te^{-(\lambda-\mu)x}\dd x\\
&=\lambda\mu\,e^{-\mu t}\cdot\frac{1-e^{-(\lambda-\mu)t}}{\lambda-\mu}=\frac{\lambda\mu}{\lambda-\mu}\big(e^{-\mu t}-e^{-\lambda t}\big).
\end{aligned}
\] Expresia este pozitivă și pentru \(\lambda<\mu\): numărătorul și numitorul își schimbă semnul simultan. Pentru \(\lambda=\mu\) formula nu are sens, dar integrala se calculează direct: \(f_{T_r}(t)=\int_0^t\lambda^2e^{-\lambda t}\dd x=\lambda^2t\,e^{-\lambda t}\), densitatea \(\GammaD(2,\lambda)\) din Exemplul 31. Din liniaritatea mediei, \(\E[T_r]=\E[X]+\E[Y]=\frac1\lambda+\frac1\mu\), iar densitatea este \(f_{T_r}(t)=\frac{\lambda\mu}{\lambda-\mu}\big(e^{-\mu t}-e^{-\lambda t}\big)\), \(t>0\).
Ce se cere și ce folosim. Comparăm mediile și probabilitățile de supraviețuire \(\PP(T>t)\) ale celor două montaje, pe care le obținem din rezultatele de la (a) și (b).
\(\E[T_r]-\E[T_p]=\frac{1}{\lambda+\mu}=\E[\min(X,Y)]\) (Exercițiul 1). Într-adevăr, \(\max(X,Y)+\min(X,Y)=X+Y\), adică \(T_r=T_p+\min(X,Y)\): montajul cu rezervă câștigă exact timpul până la prima defectare, în care montajul în paralel „consumă” simultan ambele componente. Probabilitățile de supraviețuire sunt \(\PP(T_p>t)=1-F_{T_p}(t)=e^{-\lambda t}+e^{-\mu t}-e^{-(\lambda+\mu)t}\) și \[
\PP(T_r>t)=\int_t^\infty\frac{\lambda\mu}{\lambda-\mu}\big(e^{-\mu s}-e^{-\lambda s}\big)\dd s=\frac{\lambda e^{-\mu t}-\mu e^{-\lambda t}}{\lambda-\mu} .
\] (Pasul intermediar: \(\int_t^\infty e^{-\mu s}\dd s=\frac{e^{-\mu t}}{\mu}\) și \(\int_t^\infty e^{-\lambda s}\dd s=\frac{e^{-\lambda t}}{\lambda}\), deci integrala este \(\frac{\lambda\mu}{\lambda-\mu}\big(\frac{e^{-\mu t}}{\mu}-\frac{e^{-\lambda t}}{\lambda}\big)\).)
Pentru \(\lambda=1\), \(\mu=2\) și \(t=1\): \(\E[T_p]=\frac76\), \(\E[T_r]=\frac32\), \(\PP(T_p>1)=e^{-1}+e^{-2}-e^{-3}\approx0.4534\) și \(\PP(T_r>1)=2e^{-1}-e^{-2}\approx0.6004\): montajul cu rezervă este net mai fiabil. Valorile se obțin înlocuind: \(\E[T_p]=1+\frac12-\frac13\), \(\E[T_r]=1+\frac12\) și \(\PP(T_r>1)=\frac{1\cdot e^{-2}-2e^{-1}}{1-2}\); cu rezervă, echipamentul funcționează în medie cu \(\frac13\) mai mult (exact \(\E[\min(X,Y)]=\frac{1}{1+2}\)), iar probabilitatea de a depăși o unitate de timp crește de la circa \(45\%\) la circa \(60\%\).
Exercițiul 3(Inversul mediei unui eșantion exponențial)
Fie \(X_1,\dots,X_n\) i.i.d. \(\Exp(\theta)\) și \(\hth_n=1/\Xbar\). (a) Arătați că \(\hth_n\) este bine definit a.s. și \(\hth_n\asto\theta\). (b) Calculați \(\E[\hth_n]\) pentru \(n\ge2\) și comparați cu inegalitatea lui Jensen. (c) Arătați, folosind TLC și lema lui Slutsky, că \(\sqrt n(\hth_n-\theta)\dto\Norm(0,\theta^2)\); verificați prin simulare pentru \(\theta=2\).
Soluție
Contextul. Parametrul \(\theta\) al repartiției exponențiale este inversul mediei, \(\E[X_1]=1/\theta\); este deci firesc să îl „ghicim” din date prin inversul mediei de selecție. Exercițiul arată ce proprietăți are această regulă.
Ce se cere și ce folosim. Convergența lui \(\Xbar\) este dată de legea tare a numerelor mari, iar trecerea la \(1/\Xbar\), de teorema aplicațiilor continue.
Bine definit. Variabilele \(X_i\) sunt pozitive a.s. (\(\PP(X_i\le0)=F_{X_i}(0)=0\)), deci, a.s., \(\Xbar=\frac1n\sum_iX_i>0\) și \(\hth_n=1/\Xbar\) are sens. Convergența. Considerăm un șir i.i.d. \(X_1,X_2,\dots\) cu repartiția \(\Exp(\theta)\), cu \(\E[X_1]=1/\theta\) (Tabelul 2). Din Teorema 61, \(\Xbar\asto1/\theta\). Funcția \(g(x)=1/x\) (cu \(g(0)=0\), de exemplu) are un singur punct de discontinuitate, \(0\), iar limita \(1/\theta\) este diferită de \(0\); din Teorema 57(a), \(\hth_n=g(\Xbar)\asto g(1/\theta)=\theta\).
Ce se cere și ce folosim.\(\hth_n=n/S\), unde \(S=\sum_iX_i\) are o repartiție cunoscută; media lui \(1/S\) se calculează cu formula de transport.
Din Exemplul 31, \(S\sim\GammaD(n,\theta)\), cu densitatea \(\frac{\theta^nx^{n-1}}{(n-1)!}e^{-\theta x}\) pe \((0,\infty)\). Pentru \(n\ge2\), scoțând factorul \(\frac{\theta}{n-1}\) (cu \((n-1)!=(n-1)\,(n-2)!\)), \[
\E\Big[\frac1S\Big]=\int_0^\infty\frac1x\cdot\frac{\theta^nx^{n-1}}{(n-1)!}e^{-\theta x}\dd x=\frac{\theta}{n-1}\int_0^\infty\frac{\theta^{n-1}x^{n-2}}{(n-2)!}e^{-\theta x}\dd x=\frac{\theta}{n-1},
\] ultima integrală fiind integrala densității \(\GammaD(n-1,\theta)\), egală cu \(1\). (Pentru \(n=1\) integrala \(\int_0^\infty\frac1x\theta e^{-\theta x}\dd x\) este divergentă în \(0\), deci \(\E[1/X_1]=\infty\).) Prin urmare \(\E[\hth_n]=n\,\E[1/S]=\frac{n\theta}{n-1}>\theta\), în acord cu Corolarul 29(b): \(\E[1/\Xbar]>1/\E[\Xbar]=\theta\), inegalitatea fiind strictă deoarece \(\Xbar\) nu este constantă. În medie, \(\hth_n\) supraestimează deci pe \(\theta\) cu \(\E[\hth_n]-\theta=\frac{\theta}{n-1}\); pentru \(n=10\), aceasta înseamnă \(\frac19\approx11\%\) din \(\theta\), iar eroarea sistematică dispare când \(n\to\infty\).
Ce se cere și ce folosim. TLC descrie fluctuațiile lui \(\Xbar\), nu pe ale lui \(1/\Xbar\); le legăm printr-o identitate algebrică și aplicăm lema lui Slutsky.
Pasul 1 (o identitate algebrică). Pe evenimentul \(\{\Xbar>0\}\), de probabilitate \(1\), \[
\sqrt n(\hth_n-\theta)=\sqrt n\Big(\frac1{\Xbar}-\theta\Big)=\sqrt n\,\frac{1-\theta\Xbar}{\Xbar}=-\frac{\theta}{\Xbar}\cdot\sqrt n\Big(\Xbar-\frac1\theta\Big).
\]Pasul 2 (cei doi factori). Din TLC (Teorema 64, cu \(\mu=1/\theta\) și \(\sigma^2=1/\theta^2\); repartiția exponențială admite f.g.m.), \(\sqrt n\big(\Xbar-\frac1\theta\big)\dto W\sim\Norm(0,1/\theta^2)\). Din (a), \(1/\Xbar\asto\theta\), deci \(-\theta/\Xbar\asto-\theta^2\) și, cu atât mai mult, \(-\theta/\Xbar\pto-\theta^2\) (Teorema 56(a)).
Pasul 3 (Slutsky). Din Teorema 58(b), produsul converge în repartiție la \(-\theta^2W\), iar din Propoziția 18(b) (cu \(a=0\), \(b=-\theta^2\)), \(-\theta^2W\sim\Norm\big(0,\theta^4\cdot\frac1{\theta^2}\big)=\Norm(0,\theta^2)\). Deci \(\sqrt n(\hth_n-\theta)\dto\Norm(0,\theta^2)\). Factorul \(-\theta^2\) este derivata funcției \(g(x)=1/x\) în punctul \(1/\theta\): ca în Exemplul 50(b), este un caz particular al metodei Delta (Cursul 6). În practică: pentru \(n\) mare, \(\hth_n\) are aproximativ repartiția \(\Norm(\theta,\theta^2/n)\), deci eroarea tipică este \(\theta/\sqrt n\) (pentru \(n=100\), \(10\%\) din \(\theta\)).
Verificarea prin simulare. Primul bloc generează \(20\,000\) de eșantioane de volum \(n=10\) și calculează pentru fiecare \(\hth_{10}\); al doilea generează \(10\,000\) de eșantioane de volum \(n=200\) și calculează \(\sqrt n(\hth_n-\theta)\). Afișăm media primelor valori, de comparat cu \(\frac{n\theta}{n-1}=\frac{20}{9}\), și varianța celorlalte, de comparat cu \(\theta^2=4\).
Media simulată a lui \(\hth_{10}\), \(2.232\), confirmă valoarea exactă \(\frac{20}{9}\approx2.222\) (și nu \(\theta=2\)), iar pentru \(n=200\) varianța simulată a lui \(\sqrt n(\hth_n-\theta)\), \(4.097\), este apropiată de varianța limită \(\theta^2=4\).
De reținut
Câmp de probabilitate \((\Omega,\F,\PP)\): \(\sigma\)-aditivitate, monotonie, subaditivitate, continuitate; formula probabilității totale și formula lui Bayes; independența în ansamblu cere toate relațiile de produs.
\(F_X\) este crescătoare, continuă la dreapta, cu limitele \(0\) și \(1\). Transformări monotone: \(f_Y(y)=f_X(g^{-1}(y))\,|(g^{-1})'(y)|\); în general, metoda funcției de repartiție sau suma după ramuri; \(a+bX\sim\Norm(a+b\mu,b^2\sigma^2)\).
\(\Var X=\E X^2-(\E X)^2\), \(\Var(aX+b)=a^2\Var X\); inegalitățile lui Markov, Cebîșev, Cauchy–Schwarz și Jensen. F.g.m.: \(\E[X^k]=M_X^{(k)}(0)\); determină repartiția; \(M_{a+bX}(t)=e^{at}M_X(bt)\); \(M_{X+Y}=M_XM_Y\) pentru \(X\indep Y\); sumele de v.a. independente Poisson, normale, Gamma (același \(\lambda\)) rămân în aceeași familie.
Independență \(\Leftrightarrow\) factorizarea masei sau a densității comune; necorelare \(\not\Rightarrow\) independență; \(\Var(\sum_iX_i)=\sum_i\Var(X_i)\) pentru v.a. necorelate; \(\E\Xbar=\mu\), \(\Var\Xbar=\sigma^2/n\).
Pentru \(X\indep Y\): convoluția \(f_{X+Y}(z)=\int f_X(x)f_Y(z-x)\dd x\), \(F_{\max}=F_XF_Y\) și \(1-F_{\min}=(1-F_X)(1-F_Y)\). Formula schimbării de variabilă: \(f_Y(y)=f_X(h^{-1}(y))\,|J_{h^{-1}}(y)|\,\Ind_T(y)\).
\(\asto\) sau \(\xrightarrow{L^p}\)\(\Rightarrow\)\(\pto\)\(\Rightarrow\)\(\dto\); Slutsky: \(X_n\dto X\), \(Y_n\pto c\)\(\Rightarrow\)\(X_n+Y_n\dto X+c\), \(Y_nX_n\dto cX\). LNM: \(\Xbar\to\mu\); TLC: \(\sqrt n(\Xbar-\mu)/\sigma\dto\Norm(0,1)\) și \(\sqrt n(\Xbar-\mu)/S_n\dto\Norm(0,1)\) pentru orice populație cu varianță finită.
Legătura cu cursurile următoare. În Cursul 2 vom formaliza trecerea de la probabilități la statistică (model statistic, eșantion, statistică) și vom obține cu f.g.m. repartițiile exacte ale unor statistici. Existența eșantioanelor i.i.d. și funcția cuantilă apar în Cursul 3, simularea în Cursul 4, iar repartițiile \(\chi^2\), Student și Fisher în Cursul 5; acestea, ca și repartițiile statisticilor de ordine (Cursul 6), se obțin cu transformările din Secțiunea 7.5. Teoremele limită și lema lui Slutsky vor fi folosite în toate demonstrațiile asimptotice (de la Cursul 6 la Cursul 16).
11 Complemente: rezultate auxiliare și demonstrații suplimentare
Această secțiune completează textul principal, în ordinea în care apar trimiterile către ea: justificarea afirmațiilor despre \(\sigma\)-algebre și măsurabilitate; liniaritatea mediei în cele două cazuri în care poate fi demonstrată cu mijloacele cursului; mediile și varianțele repartițiilor binomială negativă și hipergeometrică; două cazuri particulare ale teoremei de unicitate a f.g.m.; lema Borel–Cantelli, cu aplicațiile ei la teorema aplicațiilor continue și la legea tare a numerelor mari; descrierile echivalente ale convergenței în repartiție, din care rezultă punctul (c) al teoremei aplicațiilor continue și punctul (d) al lemei lui Slutsky. Rezultatele noi sunt numerotate în continuarea celor din text; fiecare demonstrație folosește numai rezultate stabilite independent de afirmația demonstrată.
1. Consecințe ale axiomelor. Din axiomele unei \(\sigma\)-algebre rezultă că \(\emptyset=\Omega^c\in\F\) și că \(\F\) este stabilă la reuniuni finite (completăm șirul cu \(\emptyset\)), la intersecții finite sau numărabile (\(\bigcap_nA_n=\big(\bigcup_nA_n^c\big)^c\), din legile lui De Morgan) și la diferențe (\(A\setminus B=A\cap B^c\)).
2. \(\sigma\)-algebra generată. Intersecția oricărei familii de \(\sigma\)-algebre pe \(\Omega\) este tot o \(\sigma\)-algebră. Într-adevăr, fie \(\F_i\), \(i\in I\), \(\sigma\)-algebre pe \(\Omega\) și \(\mathcal{G}=\bigcap_{i\in I}\F_i\) (mulțimile care aparțin tuturor familiilor \(\F_i\)). (i) \(\Omega\in\F_i\) pentru orice \(i\), deci \(\Omega\in\mathcal{G}\). (ii) Dacă \(A\in\mathcal{G}\), atunci \(A\in\F_i\), deci \(A^c\in\F_i\), pentru orice \(i\); așadar \(A^c\in\mathcal{G}\). (iii) Dacă \(A_1,A_2,\ldots\in\mathcal{G}\), atunci tot șirul se află în fiecare \(\F_i\), deci \(\bigcup_nA_n\in\F_i\) pentru orice \(i\), adică \(\bigcup_nA_n\in\mathcal{G}\). Pentru o familie \(\mathcal{C}\) de submulțimi ale lui \(\Omega\) există cel puțin o \(\sigma\)-algebră care conține \(\mathcal{C}\), anume \(\mathcal{P}(\Omega)\); intersecția \(\sigma(\mathcal{C})\) a tuturor acestor \(\sigma\)-algebre este deci o \(\sigma\)-algebră, conține \(\mathcal{C}\) și este inclusă în orice \(\sigma\)-algebră care conține \(\mathcal{C}\): este cea mai mică \(\sigma\)-algebră care conține \(\mathcal{C}\).
3. Mulțimi boreliene.\(\sigma\)-algebra \(\B(\R)\), generată de semidreptele \((-\infty,a]\), conține toate mulțimile care apar în aplicații: \((a,b]=(-\infty,b]\setminus(-\infty,a]\) (diferență de generatori), \(\{a\}=\bigcap_{n\ge1}(a-\frac1n,a]\) (intersecție numărabilă), \((a,b)=(a,b]\setminus\{b\}\), \([a,b]=(a,b]\cup\{a\}\), \((a,\infty)=(-\infty,a]^c\); orice mulțime numărabilă este reuniunea numărabilă a punctelor ei; orice mulțime deschisă este reuniunea intervalelor deschise cu capete raționale pe care le conține (o familie numărabilă), deci este boreliană, iar mulțimile închise sunt complementarele celor deschise.
4. Criteriul cu semidrepte. O funcție \(X:\Omega\to\R\) este v.a. dacă și numai dacă \(\{X\le x\}\in\F\) pentru orice \(x\in\R\). Într-adevăr, \(\{X\le x\}=X^{-1}\big((-\infty,x]\big)\) și \((-\infty,x]\in\B(\R)\), deci condiția este necesară. Reciproc, familia \(\mathcal{G}=\{B\subseteq\R:\ X^{-1}(B)\in\F\}\) este o \(\sigma\)-algebră, deoarece preimaginea comută cu complementara și cu reuniunile: \(X^{-1}(B^c)=\big(X^{-1}(B)\big)^c\) și \(X^{-1}\big(\bigcup_nB_n\big)=\bigcup_nX^{-1}(B_n)\). Ea conține semidreptele \((-\infty,x]\), care generează \(\B(\R)\), deci \(\B(\R)\subseteq\mathcal{G}\), adică \(X\) este v.a. Echivalent, \(X\) este v.a. dacă și numai dacă \(\{X<x\}\in\F\) pentru orice \(x\), deoarece \[
\{X<x\}=\bigcup_{n\ge1}\big\{X\le x-\tfrac1n\big\}\qquad\text{și}\qquad\{X\le x\}=\bigcap_{n\ge1}\big\{X<x+\tfrac1n\big\},
\] iar \(\F\) este stabilă la reuniuni și intersecții numărabile. De exemplu, indicatorul \(\Ind_A\) al unui eveniment \(A\in\F\) este v.a.: \(\{\Ind_A\le x\}\) este \(\emptyset\) (pentru \(x<0\)), \(A^c\) (pentru \(0\le x<1\)) sau \(\Omega\) (pentru \(x\ge1\)).
5. Repartiția este o probabilitate. Fie \(X\) o v.a. Atunci \(\PP_X(\R)=\PP(X\in\R)=\PP(\Omega)=1\), iar pentru boreliene \(B_n\) disjuncte două câte două preimaginile \(X^{-1}(B_n)\) sunt disjuncte (un \(\omega\) comun ar avea \(X(\omega)\in B_n\cap B_m=\emptyset\)), cu \(X^{-1}(\bigcup_nB_n)=\bigcup_nX^{-1}(B_n)\); din \(\sigma\)-aditivitatea lui \(\PP\), \(\PP_X(\bigcup_nB_n)=\PP\big(\bigcup_nX^{-1}(B_n)\big)=\sum_n\PP\big(X^{-1}(B_n)\big)=\sum_n\PP_X(B_n)\). Deci \(\PP_X\) este o probabilitate pe \(\big(\R,\B(\R)\big)\); pentru un vector aleator \(\bX\) demonstrația este aceeași, cu \(\bX^{-1}\) în locul lui \(X^{-1}\).
6. Compunerea cu o funcție boreliană. Dacă \(g:\R\to\R\) este boreliană și \(X\) este v.a., atunci, pentru orice borelian \(B\), \((g\circ X)^{-1}(B)=X^{-1}\big(g^{-1}(B)\big)\in\F\), deoarece \(g^{-1}(B)\) este borelian; deci \(g(X)\) este v.a. Orice funcție continuă este boreliană: preimaginea mulțimii închise \((-\infty,a]\) printr-o funcție continuă este o mulțime închisă, deci boreliană, iar raționamentul de la punctul 4 (familia \(\{B:\ g^{-1}(B)\in\B(\R)\}\) este o \(\sigma\)-algebră care conține semidreptele \((-\infty,a]\), deci conține \(\B(\R)\)) arată că \(g\) este boreliană. La fel, orice funcție monotonă este boreliană (\(g^{-1}((-\infty,a])\) este un interval). În particular, \(aX+b\), \(X^2\), \(|X|\) și \(e^{tX}\) sunt v.a.
7. Suma. Fie \(X\) și \(Y\) v.a. Pentru orice \(x\in\R\), \[
\{X+Y<x\}=\bigcup_{q\in\mathbb{Q}}\big(\{X<q\}\cap\{Y<x-q\}\big).
\] Incluziunea „\(\supseteq\)” este clară. Reciproc, dacă \(X(\omega)+Y(\omega)<x\), atunci \(X(\omega)<x-Y(\omega)\) și există un număr rațional \(q\) cu \(X(\omega)<q<x-Y(\omega)\), adică \(X(\omega)<q\) și \(Y(\omega)<x-q\). Membrul drept este o reuniune numărabilă de evenimente, deci \(\{X+Y<x\}\in\F\) și, din punctul 4, \(X+Y\) este v.a.
8. Produsul. Din punctele 6 și 7, \(-Y\), \(X-Y=X+(-Y)\), \((X+Y)^2\) și \((X-Y)^2\) sunt v.a., deci și \(XY=\frac14\big[(X+Y)^2-(X-Y)^2\big]\).
9. Supremum, infimum, limite. Fie \(X_1,X_2,\dots\) v.a. Dacă \(\sup_nX_n\) este finit în orice \(\omega\), atunci \(\{\sup_nX_n\le x\}=\bigcap_n\{X_n\le x\}\in\F\); la fel, \(\{\inf_nX_n<x\}=\bigcup_n\{X_n<x\}\in\F\). Dacă \(X_n(\omega)\to Z(\omega)\) pentru orice \(\omega\), atunci \[
\{Z\le x\}=\bigcap_{k\ge1}\ \bigcup_{n\ge1}\ \bigcap_{m\ge n}\big\{X_m\le x+\tfrac1k\big\}:
\] dacă \(Z(\omega)\le x\), atunci pentru orice \(k\) avem \(X_m(\omega)\le x+\frac1k\) de la un rang încolo; reciproc, dacă pentru orice \(k\) avem \(X_m(\omega)\le x+\frac1k\) de la un rang încolo, atunci \(Z(\omega)=\lim_mX_m(\omega)\le x+\frac1k\) pentru orice \(k\), deci \(Z(\omega)\le x\). Prin urmare limita punctuală a unui șir de v.a. este o v.a. Cu aceeași tehnică, pentru v.a. \(X_n\) și \(X\), mulțimea din definiția convergenței aproape sigure (Definiția 55(b)) este un eveniment: \[
\{\omega:\ X_n(\omega)\to X(\omega)\}=\bigcap_{k\ge1}\ \bigcup_{n\ge1}\ \bigcap_{m\ge n}\big\{|X_m-X|\le\tfrac1k\big\}\in\F .
\]
10. Vectori aleatori și funcții de mai multe variabile. Deoarece mulțimile \((-\infty,x_1]\times\dots\times(-\infty,x_p]\) generează \(\B(\R^p)\), raționamentul de la punctul 4 arată că \(\bX=(X_1,\dots,X_p)\) este vector aleator dacă și numai dacă \(\{X_1\le x_1,\dots,X_p\le x_p\}\in\F\) pentru orice \((x_1,\dots,x_p)\in\R^p\). Aceasta are loc dacă și numai dacă fiecare componentă \(X_i\) este v.a. Într-adevăr, dacă toate \(X_i\) sunt v.a., atunci \(\{X_1\le x_1,\dots,X_p\le x_p\}=\bigcap_i\{X_i\le x_i\}\in\F\). Reciproc, \(\{X_1\le x\}=\bigcup_{n\ge1}\{X_1\le x,X_2\le n,\dots,X_p\le n\}\) (reuniune crescătoare: orice \(\omega\) are \(X_2(\omega),\dots,X_p(\omega)\le n\) pentru \(n\) suficient de mare), deci \(\{X_1\le x\}\in\F\) pentru orice \(x\), adică \(X_1\) este v.a.; pentru componenta \(X_i\) se repetă argumentul, lăsând liberă coordonata \(i\). Dacă \(g:\R^p\to\R^q\) este boreliană, atunci \(g(\bX)\) este un vector aleator, deoarece \(\{g(\bX)\in B\}=\{\bX\in g^{-1}(B)\}\in\F\) pentru orice \(B\in\B(\R^q)\). În fine, orice funcție continuă \(g:\R^p\to\R\) este boreliană: ca la punctul 6, \(g^{-1}((-\infty,a])\) este o mulțime închisă din \(\R^p\), deci boreliană (complementara ei este deschisă, iar orice mulțime deschisă din \(\R^p\) este reuniunea numărabilă a dreptunghiurilor \((a_1,b_1]\times\dots\times(a_p,b_p]\) cu capete raționale pe care le conține; acestea se obțin din generatorii lui \(\B(\R^p)\) prin diferențe, ca în cazul \(p=1\)). De exemplu, \(\max(X_3,X_4)\) și \(X_1+X_2^2\) sunt v.a. Același raționament se aplică funcțiilor continue cu valori în \(\R^q\) (preimaginile generatorilor \((-\infty,a_1]\times\dots\times(-\infty,a_q]\) sunt mulțimi închise) și funcțiilor continue definite numai pe o mulțime deschisă \(S\subseteq\R^p\): preimaginea unei mulțimi închise este atunci intersecția lui \(S\) cu o mulțime închisă, deci este boreliană.
11.2 Liniaritatea mediei: cazul discret și cazul cu densitate comună
Liniaritatea mediei (Propoziția 23(b)) a fost admisă în general, ca proprietate a integralei Lebesgue. În cele două cazuri în care mediile se calculează cu sume, respectiv cu integrale, ea rezultă din formula de transport pentru vectori (8) și din formulele repartițiilor marginale.
Propoziția 66(Liniaritatea mediei în două cazuri)
Fie \(X\) și \(Y\) v.a. cu medie. Dacă vectorul \((X,Y)\) este discret sau are o densitate comună, atunci \(X+Y\) are medie și \(\E[X+Y]=\E[X]+\E[Y]\).
Demonstrație. Aplicăm (8) funcției \(g(x,y)=x+y\). În cazul discret această formulă a fost demonstrată în Secțiunea 7.3; în cazul cu densitate o verificăm mai jos pentru această funcție \(g\), admițând doar teorema lui Fubini. Rezultatele pe care ne sprijinim (Propozițiile 36 și 50(a), formula de transport în cazul discret) au demonstrații care nu folosesc liniaritatea mediei.
Cazul discret. Fie \(p\) funcția de masă comună. Întâi convergența absolută: din \(|x+y|\le|x|+|y|\), sumând seriile cu termeni nenegativi întâi după variabila care nu apare în factor și folosind formula maselor marginale (Propoziția 36), \[
\sum_{x,y}|x+y|\,p(x,y)\le\sum_x|x|\sum_yp(x,y)+\sum_y|y|\sum_xp(x,y)=\sum_x|x|\,p_X(x)+\sum_y|y|\,p_Y(y)<\infty ,
\] deoarece \(X\) și \(Y\) au medie. Deci \(X+Y\) are medie, iar seria fiind absolut convergentă, aceeași grupare a termenilor este permisă și fără module: \[
\begin{aligned}
\E[X+Y]&=\sum_{x,y}(x+y)\,p(x,y)=\sum_x x\sum_yp(x,y)+\sum_y y\sum_xp(x,y)\\
&=\sum_xx\,p_X(x)+\sum_yy\,p_Y(y)=\E[X]+\E[Y].
\end{aligned}
\]
Cazul în care \((X,Y)\) are densitatea comună \(f\). Din Propoziția 36, \(X\) și \(Y\) au densitățile marginale \(f_X(x)=\int f(x,y)\dd y\) și \(f_Y(y)=\int f(x,y)\dd x\), iar din Propoziția 50(a), \(X+Y\) are densitatea \(f_{X+Y}(z)=\int f(x,z-x)\dd x\). Din teorema lui Fubini pentru funcții nenegative și cu schimbarea de variabilă \(z=x+y\) în integrala interioară (\(x\) fiind fixat), \[
\int|z|\,f_{X+Y}(z)\dd z=\int\Big(\int|z|\,f(x,z-x)\dd z\Big)\dd x=\iint|x+y|\,f(x,y)\dd x\dd y ,
\] iar, la fel ca în cazul discret, ultima integrală este cel mult \(\int|x|f_X(x)\dd x+\int|y|f_Y(y)\dd y<\infty\). Deci \(X+Y\) are medie, iar teorema lui Fubini se aplică și integranzilor cu semn: același calcul, fără module, apoi integrarea după variabila care nu apare în factor dau \[
\begin{aligned}
\E[X+Y]&=\int z\,f_{X+Y}(z)\dd z=\iint(x+y)f(x,y)\dd x\dd y\\
&=\int x\Big(\int f(x,y)\dd y\Big)\dd x+\int y\Big(\int f(x,y)\dd x\Big)\dd y\\
&=\int xf_X(x)\dd x+\int yf_Y(y)\dd y=\E[X]+\E[Y].
\end{aligned}
\]■
Același calcul, cu sume, respectiv integrale multiple, dă liniaritatea pentru sume finite de componente ale unui vector discret sau cu densitate comună. Pentru v.a. oarecare, liniaritatea este cea a integralei Lebesgue (Billingsley 1995, sec. 16).
11.3 Mediile și varianțele repartițiilor binomială negativă și hipergeometrică
Completăm calculele din Exemplul 16 cu cele două repartiții din Tabelul 1 rămase.
Repartiția binomială negativă. Fie \(X\sim\NBin(r,p)\), \(q=1-p\), deci \(\PP(X=k)=\binom{k-1}{r-1}p^rq^{k-r}\), \(k\ge r\). Folosim seria \[
\sum_{k\ge m}\binom kmq^{k-m}=\frac{1}{(1-q)^{m+1}},\qquad|q|<1,\ m\in\N ,
\] obținută derivând de \(m\) ori, termen cu termen, seria geometrică \(\sum_{k\ge0}q^k=\frac1{1-q}\) (o serie de puteri se poate deriva termen cu termen în interiorul intervalului de convergență): \(\sum_{k\ge m}k(k-1)\cdots(k-m+1)\,q^{k-m}=\frac{m!}{(1-q)^{m+1}}\), apoi împărțind la \(m!\). (Pentru \(m=r-1\), cu \(j=k-1\), ea arată că masele au suma \(p^r(1-q)^{-r}=1\).)
Media. Din \(k\binom{k-1}{r-1}=\frac{k!}{(r-1)!\,(k-r)!}=r\binom kr\) și din serie cu \(m=r\), \[
\E[X]=\sum_{k\ge r}k\binom{k-1}{r-1}p^rq^{k-r}=r\,p^r\sum_{k\ge r}\binom krq^{k-r}=\frac{r\,p^r}{(1-q)^{r+1}}=\frac rp .
\]Varianța. Din \(k(k+1)\binom{k-1}{r-1}=r(k+1)\binom kr=\frac{r\,(k+1)!}{r!\,(k-r)!}=r(r+1)\binom{k+1}{r+1}\) și din serie cu \(m=r+1\) (și indicele \(j=k+1\)), \[
\E[X(X+1)]=r(r+1)\,p^r\sum_{k\ge r}\binom{k+1}{r+1}q^{(k+1)-(r+1)}=\frac{r(r+1)\,p^r}{(1-q)^{r+2}}=\frac{r(r+1)}{p^2} .
\] Cum \(X^2=X(X+1)-X\), \[
\Var(X)=\E[X(X+1)]-\E[X]-(\E X)^2=\frac{r(r+1)}{p^2}-\frac rp-\frac{r^2}{p^2}=\frac{r-rp}{p^2}=\frac{r(1-p)}{p^2}.
\] Pentru \(r=1\) regăsim media și varianța repartiției geometrice.
Repartiția hipergeometrică. Extragem pe rând, fără întoarcere, \(n\) bile dintr-o urnă cu \(N\) bile, dintre care \(K\) marcate, toate șirurile de \(n\) bile distincte fiind egal probabile, și fie \(X\) numărul bilelor marcate extrase. Atunci \(X\sim\HGeom(N,K,n)\): dintre cele \(\binom Nn\) mulțimi posibile de bile extrase, egal probabile, \(\binom Kk\binom{N-K}{n-k}\) conțin exact \(k\) bile marcate. Scriem \(X=\sum_{i=1}^nI_i\), unde \(I_i\) este indicatorul evenimentului „a \(i\)-a bilă extrasă este marcată”. Din simetrie (numărul șirurilor de \(n\) bile distincte care au o bilă dată pe poziția \(i\) nu depinde de bilă, și la fel pentru două bile date pe pozițiile \(i\) și \(j\)), a \(i\)-a bilă extrasă este, cu aceeași probabilitate, oricare dintre cele \(N\) bile, iar perechea formată din a \(i\)-a și a \(j\)-a bilă (\(i\ne j\)) este, cu aceeași probabilitate, oricare dintre cele \(N(N-1)\) perechi ordonate de bile distincte. Deci \[
\E[I_i]=\PP(I_i=1)=\frac KN,\qquad \E[I_iI_j]=\PP(I_i=1,I_j=1)=\frac{K(K-1)}{N(N-1)}\quad(i\ne j).
\]Media. Din liniaritate, \(\E[X]=\sum_i\E[I_i]=\frac{nK}{N}\). Varianța.\(I_i\sim\Bern(K/N)\), deci \(\Var(I_i)=\frac KN\big(1-\frac KN\big)=\frac{K(N-K)}{N^2}\), iar pentru \(i\ne j\) (Propoziția 42(a)) \[
\Cov(I_i,I_j)=\frac{K(K-1)}{N(N-1)}-\frac{K^2}{N^2}=\frac{K\big[N(K-1)-K(N-1)\big]}{N^2(N-1)}=-\frac{K(N-K)}{N^2(N-1)} .
\] Din Propoziția 42(c), suma având \(n\) varianțe și \(n(n-1)\) covarianțe cu \(i\ne j\), \[
\Var(X)=n\,\frac{K(N-K)}{N^2}-n(n-1)\,\frac{K(N-K)}{N^2(N-1)}=\frac{nK(N-K)}{N^2}\Big(1-\frac{n-1}{N-1}\Big)=\frac{nK(N-K)(N-n)}{N^2(N-1)} .
\] Indicatorii sunt corelați negativ (o bilă marcată extrasă lasă mai puține bile marcate în urnă), iar varianța este mai mică decât cea a repartiției \(\Bin(n,K/N)\), corespunzătoare extragerilor cu întoarcere, cu factorul \(\frac{N-n}{N-1}\).
11.4 Unicitatea f.g.m.: două cazuri particulare
Teorema 33 a fost admisă. Cu mijloacele cursului o putem demonstra complet în două cazuri particulare; singurele rezultate admise folosite sunt proprietățile generale ale mediei din Propoziția 23: liniaritatea și monotonia, respectiv teorema convergenței dominate.
Propoziția 67(Unicitatea f.g.m. în două cazuri particulare)
Fie \(X\) și \(Y\) două v.a. care admit f.g.m. și \(h>0\) astfel încât \(M_X(t)=M_Y(t)\) pentru orice \(t\in(-h,h)\). Dacă (a) \(X\) și \(Y\) iau fiecare un număr finit de valori sau (b) \(X\ge0\) și \(Y\ge0\), atunci \(F_X=F_Y\).
Demonstrație.
Fie \(x_1<\dots<x_m\) toate valorile luate de \(X\) sau de \(Y\) și \(p_i=\PP(X=x_i)\), \(q_i=\PP(Y=x_i)\) (eventual nule). Ipoteza \(M_X=M_Y\) pe \((-h,h)\) se scrie \[
D(t):=\sum_{i=1}^m(p_i-q_i)\,e^{tx_i}=0\qquad\text{pentru orice }t\in(-h,h).
\] Derivând de \(k\) ori și luând \(t=0\), obținem \(D^{(k)}(0)=\sum_{i=1}^m(p_i-q_i)\,x_i^k=0\) pentru \(k=0,1,\dots,m-1\): un sistem liniar omogen de \(m\) ecuații în necunoscutele \(p_i-q_i\), cu matricea Vandermonde \(\big(x_i^k\big)_{0\le k\le m-1,\,1\le i\le m}\), al cărei determinant, \(\prod_{i<j}(x_j-x_i)\), este nenul, deoarece \(x_i\) sunt distincte. Sistemul are deci numai soluția nulă: \(p_i=q_i\) pentru orice \(i\), adică \(X\) și \(Y\) au aceeași repartiție.
Micșorând eventual \(h\), presupunem că \(M_X\) și \(M_Y\) sunt finite pe \((-h,h)\) (posibil, deoarece ambele v.a. admit f.g.m.).
Ideea demonstrației. Pentru \(X\ge0\), f.g.m. este finită pe toată semidreapta \((-\infty,h)\) și este determinată acolo de valorile ei lângă \(0\) (o prelungim din aproape în aproape cu ajutorul seriilor Taylor). Apoi „citim” funcția de repartiție \(F_X\) din derivatele lui \(M_X\) în puncte \(-t\), cu \(t\to\infty\): o anumită combinație a acestor derivate este media unei funcții de \(X\) care, datorită concentrării repartiției Poisson în jurul mediei, tinde la indicatorul \(\Ind_{\{X<x\}}\).
Pasul 1 (derivatele lui \(M_X\) pe \((-\infty,h)\)). Fie \(M=M_X\). Pentru \(t\le0\), \(e^{tX}\le1\) (deoarece \(X\ge0\)), deci \(M(t)\le1\); împreună cu ipoteza, \(M(t)<\infty\) pentru orice \(t<h\). Pașii 1 și 2 din demonstrația Teoremei 32 folosesc, într-un punct \(t_0\), doar finitudinea lui \(M\) în \(t_0\pm2\delta\); ei se aplică deci în orice \(t_0<h\) (cu \(\delta>0\) astfel încât \(t_0+2\delta<h\)) și arată că \(M\) este indefinit derivabilă pe \((-\infty,h)\), cu \[
M^{(k)}(t_0)=\E\big[X^ke^{t_0X}\big],\qquad k\in\N,\ t_0<h .
\]
Pasul 2 (seria Taylor în jurul unui punct \(t_0<h\)). Fie \(t_0<h\) și \(|s|<h-t_0\). Sumele parțiale ale seriei \(e^{(t_0+s)X}=e^{t_0X}\sum_{k\ge0}s^kX^k/k!\) sunt majorate în modul de \(e^{t_0X}\sum_{k\ge0}|s|^kX^k/k!=e^{(t_0+|s|)X}\) (aici folosim \(X\ge0\)), v.a. cu media \(M(t_0+|s|)<\infty\), deoarece \(t_0+|s|<h\). Din convergența dominată și liniaritatea mediei, ca în Pasul 3 al demonstrației Teoremei 32, \[
M(t_0+s)=\sum_{k\ge0}\E\big[X^ke^{t_0X}\big]\frac{s^k}{k!}=\sum_{k\ge0}M^{(k)}(t_0)\,\frac{s^k}{k!}\qquad\text{pentru }|s|<h-t_0 .
\] Așadar valorile lui \(M\) pe intervalul \((2t_0-h,\,h)\) sunt determinate de derivatele lui \(M\) în \(t_0\).
Pasul 3 (\(M_X=M_Y\) pe \((-\infty,h)\)). Arătăm că, dacă \(M_X=M_Y\) pe \((-a,h)\) pentru un \(a\ge h\), atunci \(M_X=M_Y\) pe \((-2a,h)\). Fie \(t_0=-a+\frac h2\in(-a,h)\). Funcțiile \(M_X\) și \(M_Y\) coincid pe o vecinătate a lui \(t_0\), deci au aceleași derivate de orice ordin în \(t_0\); din Pasul 2 (aplicat lui \(X\) și lui \(Y\)), ele coincid pe \((2t_0-h,h)=(-2a,h)\). Pornind de la \(a=h\) (ipoteza) și aplicând repetat această afirmație, \(M_X=M_Y\) pe \((-2^jh,h)\) pentru orice \(j\ge0\), deci pe \((-\infty,h)\). În particular, din Pasul 1, \(\E[X^ke^{-tX}]=M_X^{(k)}(-t)=M_Y^{(k)}(-t)=\E[Y^ke^{-tY}]\) pentru orice \(t>0\) și \(k\in\N\).
Pasul 4 (o medie care se exprimă prin \(M_X\)). Pentru \(t>0\) și \(x,y\ge0\) fie \[
\varphi_t(x,y)=\sum_{k=0}^{\lfloor tx\rfloor}e^{-ty}\frac{(ty)^k}{k!}.
\] Pentru \(y>0\), \(\varphi_t(x,y)=\PP(W\le tx)\), unde \(W\sim\Pois(ty)\), iar \(\varphi_t(x,0)=1\) (rămâne doar termenul \(k=0\)); în particular \(0\le\varphi_t\le1\). Definim \[
G_X(t,x)=\sum_{k=0}^{\lfloor tx\rfloor}\frac{t^k}{k!}M_X^{(k)}(-t)=\E\Big[\sum_{k=0}^{\lfloor tx\rfloor}e^{-tX}\frac{(tX)^k}{k!}\Big]=\E\big[\varphi_t(x,X)\big],
\] unde a doua egalitate rezultă din Pasul 1 (\(M_X^{(k)}(-t)=\E[X^ke^{-tX}]\)) și din liniaritatea mediei pentru o sumă finită.
Pasul 5 (limita lui \(\varphi_t\) când \(t\to\infty\)). Repartiția \(\Pois(ty)\) are media și varianța egale cu \(ty\) (Exemplul 16). Din inegalitatea lui Cebîșev (Propoziția 26(b)):
dacă \(y>x\), atunci \(\{W\le tx\}\subseteq\{|W-ty|\ge t(y-x)\}\), deci \(\varphi_t(x,y)\le\dfrac{ty}{t^2(y-x)^2}=\dfrac{y}{t(y-x)^2}\to0\);
dacă \(0<y<x\), atunci \(\{W>tx\}\subseteq\{|W-ty|\ge t(x-y)\}\), deci \(1-\varphi_t(x,y)\le\dfrac{y}{t(x-y)^2}\to0\); iar pentru \(y=0<x\), \(\varphi_t(x,0)=1\).
Deci \(\varphi_t(x,y)\to\Ind_{\{y<x\}}\) când \(t\to\infty\), pentru orice \(y\ge0\), \(y\ne x\).
Pasul 6 (recuperarea lui \(F_X\)). Fie \(x>0\) cu \(\PP(X=x)=0\) și \(t_n\to\infty\). Din Pasul 5, \(\varphi_{t_n}(x,X)\to\Ind_{\{X<x\}}\) pe evenimentul \(\{X\ne x\}\), de probabilitate \(1\), iar \(|\varphi_{t_n}(x,X)|\le1\). Din convergența dominată (cu majoranta constantă \(1\)), \[
G_X(t_n,x)=\E\big[\varphi_{t_n}(x,X)\big]\xrightarrow[n\to\infty]{}\E\big[\Ind_{\{X<x\}}\big]=\PP(X<x)=F_X(x).
\]
Pasul 7 (concluzia). Din Pasul 3, \(G_X(t,x)=G_Y(t,x)\) pentru orice \(t>0\) și \(x\ge0\) (funcția \(G\) este construită numai din derivatele f.g.m. în punctele \(-t<0\)). Din Pasul 6, \(F_X(x)=F_Y(x)\) în orice \(x>0\) care nu este atom al lui \(X\) sau al lui \(Y\). Mulțimea atomilor fiind cel mult numărabilă (observația de după Propoziția 14), pentru orice \(x\ge0\) există astfel de puncte \(x_n\searrow x\), iar din continuitatea la dreapta, \(F_X(x)=\lim_nF_X(x_n)=\lim_nF_Y(x_n)=F_Y(x)\). Pentru \(x<0\), \(F_X(x)=F_Y(x)=0\). Deci \(F_X=F_Y\).■
Teorema 33 în toată generalitatea ei (v.a. de semn oarecare, cu o infinitate de valori) rămâne admisă. În aplicațiile ei la sume de v.a. nenegative (Bernoulli, Poisson, Gamma; Secțiunea 7.4), pasul de unicitate este însă justificat complet de Propoziția 67: atât suma, cât și repartiția cu care o comparăm sunt concentrate pe \([0,\infty)\) (o v.a. nenegativă a.s. se poate modifica pe un eveniment de probabilitate nulă, fără a-i schimba repartiția și f.g.m., astfel încât să fie nenegativă peste tot). Pentru combinațiile liniare de v.a. normale (Exemplul 30) este necesară teorema generală.
11.5 Lema Borel–Cantelli și legea tare a numerelor mari
Pentru un șir de evenimente \((A_n)\), \(\limsup_nA_n=\bigcap_{n\ge1}\bigcup_{m\ge n}A_m\) este evenimentul „se realizează o infinitate dintre evenimentele \(A_n\)”.
Lema 68(Lema Borel–Cantelli)
Dacă \(\sum_n\PP(A_n)<\infty\), atunci \(\PP(\limsup_nA_n)=0\). (b) Dacă evenimentele \(A_n\) sunt independente și \(\sum_n\PP(A_n)=\infty\), atunci \(\PP(\limsup_nA_n)=1\).
Demonstrație.Ideea demonstrației. (a) „O infinitate dintre \(A_n\)” implică „cel puțin unul după rangul \(n\)”, pentru orice \(n\), iar probabilitatea acestuia din urmă este cel mult restul seriei. (b) Trecem la complementară: „de la un rang încolo nu se mai realizează niciun \(A_m\)”; din independență, probabilitatea este un produs infinit de factori \(1-\PP(A_m)\), nul când seria diverge.
Pentru orice \(n\), \(\limsup_kA_k=\bigcap_{j\ge1}\bigcup_{m\ge j}A_m\subseteq\bigcup_{m\ge n}A_m\), deci, din monotonie și subaditivitate (Propoziția 3(c), (e)), \[
\PP\big(\limsup_kA_k\big)\le\PP\Big(\bigcup_{m\ge n}A_m\Big)\le\sum_{m\ge n}\PP(A_m)\xrightarrow[n\to\infty]{}0 ,
\] fiind restul unei serii convergente. Membrul stâng nu depinde de \(n\), deci este \(0\).
Pasul 1 (reducere). Din legile lui De Morgan, \(\big(\limsup_nA_n\big)^c=\bigcup_{n\ge1}\bigcap_{m\ge n}A_m^c\); din subaditivitate, este suficient să arătăm că \(\PP\big(\bigcap_{m\ge n}A_m^c\big)=0\) pentru orice \(n\).
Pasul 2 (complementarele unor evenimente independente sunt independente). Afirmație: dacă \(B_1,\dots,B_r\) sunt independente, atunci \(\PP(B_1^c\cap\dots\cap B_r^c)=\prod_{i=1}^r\big(1-\PP(B_i)\big)\). Arătăm, mai general, prin inducție după \(j\in\{0,\dots,r\}\), că \(\PP\big(B_1^c\cap\dots\cap B_j^c\cap C\big)=\prod_{i\le j}\big(1-\PP(B_i)\big)\,\PP(C)\) pentru orice intersecție \(C\) a unora dintre evenimentele \(B_{j+1},\dots,B_r\) (eventual \(C=\Omega\)). Pentru \(j=0\) nu este nimic de demonstrat (ambii membri sunt \(\PP(C)\)). Pasul de inducție: cu \(D=B_1^c\cap\dots\cap B_{j-1}^c\), din \(D\cap C=(D\cap B_j\cap C)\cup(D\cap B_j^c\cap C)\), reuniune disjunctă, și din ipoteza de inducție aplicată intersecțiilor \(C\) și \(B_j\cap C\), \[
\begin{aligned}
\PP(D\cap B_j^c\cap C)&=\PP(D\cap C)-\PP(D\cap B_j\cap C)\\
&=\prod_{i<j}\big(1-\PP(B_i)\big)\big[\PP(C)-\PP(B_j)\PP(C)\big]=\prod_{i\le j}\big(1-\PP(B_i)\big)\,\PP(C),
\end{aligned}
\] unde am folosit \(\PP(B_j\cap C)=\PP(B_j)\PP(C)\) (independența). Pentru \(j=r\) și \(C=\Omega\) obținem afirmația.
Pasul 3 (majorarea). Pentru orice \(x\in\R\), \(1-x\le e^{-x}\) (graficul funcției convexe \(e^{-x}\) este deasupra tangentei în \(0\)). Din Pasul 2, pentru \(N\ge n\), \[
\PP\Big(\bigcap_{m=n}^{N}A_m^c\Big)=\prod_{m=n}^N\big(1-\PP(A_m)\big)\le\prod_{m=n}^Ne^{-\PP(A_m)}=\exp\Big(-\sum_{m=n}^N\PP(A_m)\Big)\xrightarrow[N\to\infty]{}0 ,
\] deoarece seria \(\sum_m\PP(A_m)\) este divergentă, deci \(\sum_{m=n}^N\PP(A_m)\to\infty\) când \(N\to\infty\).
Pasul 4 (trecerea la limită). Evenimentele \(\bigcap_{m=n}^NA_m^c\) descresc, când \(N\to\infty\), către \(\bigcap_{m\ge n}A_m^c\); din continuitatea probabilității (Propoziția 3(f)), \(\PP\big(\bigcap_{m\ge n}A_m^c\big)=\lim_N\PP\big(\bigcap_{m=n}^NA_m^c\big)=0\).■
Subșiruri convergente aproape sigur. Lema Borel–Cantelli leagă convergența în probabilitate de cea aproape sigură:
(i) Dacă \(X_n\pto X\), atunci există un subșir \((X_{n_k})_k\) cu \(X_{n_k}\asto X\). Pentru fiecare \(k\ge1\), \(\PP(|X_n-X|>\frac1k)\to0\) când \(n\to\infty\), deci putem alege, succesiv, indici \(n_1<n_2<\dots\) cu \(\PP\big(|X_{n_k}-X|>\frac1k\big)\le2^{-k}\). Fie \(A_k=\{|X_{n_k}-X|>\frac1k\}\). Cum \(\sum_k\PP(A_k)\le\sum_k2^{-k}<\infty\), din Lema 68(a), \(\PP(\limsup_kA_k)=0\). Pentru \(\omega\notin\limsup_kA_k\) există \(k_0(\omega)\) cu \(|X_{n_k}(\omega)-X(\omega)|\le\frac1k\) pentru orice \(k\ge k_0(\omega)\), deci \(X_{n_k}(\omega)\to X(\omega)\).
(ii) Un șir de numere reale \((a_n)\) converge la \(a\) dacă din orice subșir al său se poate extrage un subșir convergent la \(a\). Într-adevăr, dacă \(a_n\not\to a\), există \(\varepsilon>0\) și un subșir \((a_{n_k})\) cu \(|a_{n_k}-a|>\varepsilon\) pentru orice \(k\); niciun subșir al acestuia nu converge la \(a\).
Demonstrația teoremei aplicațiilor continue, punctul (b), în cazul general. Fie \(g\) boreliană, cu \(\PP(X\in D_g)=0\), și \(X_n\pto X\); arătăm că \(g(X_n)\pto g(X)\) (Teorema 57(b)). Fie \(\varepsilon>0\) și \(a_n=\PP\big(|g(X_n)-g(X)|>\varepsilon\big)\); arătăm că \(a_n\to0\) cu criteriul (ii). Fie \((a_{n_k})_k\) un subșir oarecare. Cum \(X_{n_k}\pto X\) (un subșir al unui șir de numere care tinde la \(0\) tinde la \(0\)), din (i) există un subșir \((X_{n_{k_j}})_j\) cu \(X_{n_{k_j}}\asto X\). Din Teorema 57(a), \(g(X_{n_{k_j}})\asto g(X)\), deci, din Teorema 56(a), \(g(X_{n_{k_j}})\pto g(X)\); în particular \(a_{n_{k_j}}\to0\) când \(j\to\infty\). Din (ii), \(a_n\to0\); \(\varepsilon>0\) fiind arbitrar, \(g(X_n)\pto g(X)\). (Aceeași demonstrație este valabilă pentru vectori aleatori, cu norma euclidiană în locul modulului.)■
Propoziția 69(Legea tare sub ipoteza unui moment de ordin 4)
Dacă \((X_n)\) sunt i.i.d. cu \(\E[X_1^4]<\infty\) și \(\mu=\E[X_1]\), atunci \(\Xbar\asto\mu\).
Demonstrație.Ideea demonstrației. Inegalitatea lui Cebîșev dă \(\PP(|\Xbar-\mu|>\varepsilon)\le\sigma^2/(n\varepsilon^2)\), iar seria \(\sum_n\frac1n\) este divergentă: nu putem aplica lema Borel–Cantelli. Cu momentul de ordin \(4\) obținem însă o margine de ordinul \(1/n^2\), termenul general al unei serii convergente; atunci, a.s., abaterea \(|\Xbar-\mu|\) depășește \(\varepsilon\) doar de un număr finit de ori.
Pasul 1 (momentul de ordin \(4\) al sumei centrate). Fie \(Y_i=X_i-\mu\): v.a. i.i.d. cu \(\E[Y_i]=0\), \(\E[Y_i^2]=\sigma^2\) și \(\mu_4:=\E[Y_i^4]<\infty\) (din \(|u-\mu|^4\le8(u^4+\mu^4)\); momentele de ordin mai mic sunt finite din inegalitatea lui Lyapunov, Corolarul 29(c)). Fie \(T_n=\sum_{i=1}^nY_i=n(\Xbar-\mu)\). Dezvoltând puterea a patra și folosind liniaritatea mediei, \[
\E[T_n^4]=\sum_{i,j,k,l=1}^n\E[Y_iY_jY_kY_l]
\] (fiecare produs are medie, deoarece \(|Y_iY_jY_kY_l|\le\frac14\big(Y_i^4+Y_j^4+Y_k^4+Y_l^4\big)\), din inegalitatea mediilor). Clasificăm cei \(n^4\) termeni după valorile indicilor:
dacă o valoare apare o singură dată printre \(i,j,k,l\) (de exemplu \(i\) este diferit de \(j,k,l\)), atunci \(Y_i\) este independentă de produsul celorlalți trei factori (funcții de blocuri disjuncte, Propoziția 39), deci, din Propoziția 40, \(\E[Y_iY_jY_kY_l]=\E[Y_i]\,\E[Y_jY_kY_l]=0\);
dacă toți cei patru indici sunt egali, termenul este \(\E[Y_i^4]=\mu_4\); există \(n\) astfel de termeni;
rămân termenii în care apar exact două valori distincte \(a\ne b\), fiecare de câte două ori; termenul este \(\E[Y_a^2Y_b^2]=\E[Y_a^2]\,\E[Y_b^2]=\sigma^4\) (independență). Numărul lor: alegem perechea \(\{a,b\}\) în \(\binom n2\) moduri și cele două poziții (din patru) ocupate de \(a\) în \(\binom42=6\) moduri, deci \(6\binom n2=3n(n-1)\) termeni.
(Nu există alte cazuri: dacă nicio valoare nu apare o singură dată, cei patru indici sunt fie toți egali, fie formează două perechi.) Prin urmare \[
\E[T_n^4]=n\mu_4+3n(n-1)\sigma^4\le Cn^2,\qquad C:=\mu_4+3\sigma^4 .
\]
Pasul 2 (inegalitatea lui Markov de ordin \(4\)). Pentru \(\varepsilon>0\), din Propoziția 26(a) cu \(p=4\), \[
\PP\big(|\Xbar-\mu|>\varepsilon\big)=\PP\big(|T_n|>n\varepsilon\big)\le\frac{\E[T_n^4]}{n^4\varepsilon^4}\le\frac{C}{n^2\varepsilon^4},
\] termenul general al unei serii convergente.
Pasul 3 (Borel–Cantelli). Fie \(m\ge1\) și \(A_n^{(m)}=\{|\Xbar-\mu|>\frac1m\}\). Din Pasul 2 (cu \(\varepsilon=\frac1m\)), \(\sum_n\PP(A_n^{(m)})<\infty\), deci, din Lema 68(a), evenimentul \(N_m=\limsup_nA_n^{(m)}\) are probabilitatea \(0\). Reuniunea \(N=\bigcup_{m\ge1}N_m\) are tot probabilitatea \(0\) (subaditivitate). Pentru \(\omega\notin N\) și orice \(m\), \(|\Xbar(\omega)-\mu|\le\frac1m\) pentru toți indicii \(n\), cu excepția unui număr finit; aceasta înseamnă exact că \(\Xbar(\omega)\to\mu\). Deci \(\Xbar\asto\mu\).■
Demonstrația afirmației reciproce din legea tare a numerelor mari. Arătăm că, dacă \((X_n)\) sunt i.i.d. și \(\Xbar\) converge a.s. către o limită finită, atunci \(\E|X_1|<\infty\); echivalent, dacă \(\E|X_1|=\infty\), atunci \(\Xbar\) nu converge a.s. către o limită finită (a doua afirmație a Teoremei 61).
Pasul 1 (\(X_n/n\to0\) a.s.). Din \(X_n=n\Xbar-(n-1)\bar X_{n-1}\), unde \(\bar X_{n-1}\) este media primelor \(n-1\) variabile, \[
\frac{X_n}{n}=\Xbar-\frac{n-1}{n}\,\bar X_{n-1}\longrightarrow0\qquad\text{a.s.,}
\] deoarece ambii termeni au aceeași limită finită. În particular, a.s., \(|X_n|>n\) doar pentru un număr finit de indici: \(\PP\big(\limsup_n\{|X_n|>n\}\big)=0\).
Pasul 2 (Borel–Cantelli). Evenimentele \(\{|X_n|>n\}\) sunt independente (Propoziția 39); dacă seria \(\sum_n\PP(|X_n|>n)\) ar fi divergentă, Lema 68(b) ar da \(\PP(\limsup_n\{|X_n|>n\})=1\), contradicție. Deci, variabilele fiind identic repartizate, \(\sum_{n\ge1}\PP(|X_1|>n)=\sum_{n\ge1}\PP(|X_n|>n)<\infty\).
Pasul 3 (de la serie la medie). Fie \(Y\) cel mai mic număr natural mai mare sau egal cu \(|X_1|\); \(Y\) este o v.a. discretă cu valori în \(\N\), \(|X_1|\le Y\) și \(\{Y>n\}=\{|X_1|>n\}\) pentru \(n\in\N\). Scriind \(k=\sum_{n=0}^{k-1}1\) și schimbând ordinea de sumare (termeni nenegativi), \[
\begin{aligned}
\E[Y]&=\sum_{k\ge1}k\,\PP(Y=k)=\sum_{k\ge1}\sum_{n=0}^{k-1}\PP(Y=k)=\sum_{n\ge0}\sum_{k>n}\PP(Y=k)\\
&=\sum_{n\ge0}\PP(Y>n)=\sum_{n\ge0}\PP(|X_1|>n)<\infty .
\end{aligned}
\] Din monotonia mediei, \(\E|X_1|\le\E[Y]<\infty\).■
11.6 Caracterizări ale convergenței în repartiție
Convergența în repartiție poate fi exprimată prin medii de funcții.
Teorema 70(Teorema portmanteau)
Pentru v.a. (sau vectori aleatori) \(X_n\), \(X\), următoarele afirmații sunt echivalente: (a) \(X_n\dto X\); (b) \(\E[\varphi(X_n)]\to\E[\varphi(X)]\) pentru orice \(\varphi\) continuă și mărginită; (c) \(\E[\varphi(X_n)]\to\E[\varphi(X)]\) pentru orice \(\varphi\) mărginită și lipschitziană.
Pentru vectori aleatori, (b) este chiar definiția convergenței în repartiție, iar echivalența cu (c) se admite (Vaart 1998, Lemma 2.2). Pentru v.a. reale demonstrăm complet lanțul de implicații (a) \(\Rightarrow\) (b) \(\Rightarrow\) (c) \(\Rightarrow\) (a).
Demonstrația teoremei portmanteau pentru variabile aleatoare reale.Ideea demonstrației. (a) \(\Rightarrow\) (b): pe un interval mare \([a,b]\), care conține aproape toată masa, aproximăm uniform funcția continuă \(\varphi\) printr-o funcție în scară cu salturi în puncte de continuitate ale lui \(F\); media unei astfel de funcții se scrie cu valorile funcției de repartiție, care converg. (c) \(\Rightarrow\) (a): încadrăm indicatorul \(\Ind_{(-\infty,x]}\) între două funcții lipschitziene „trapez”.
(a) \(\Rightarrow\) (b). Fie \(F_n=F_{X_n}\), \(F=F_X\), \(\varphi\) continuă cu \(|\varphi|\le K\) și \(\varepsilon>0\).
Pasul 1. Punctele de continuitate ale lui \(F\) fiind dense (observația de după Propoziția 14) și \(F(x)\to0\), respectiv \(1\), la \(\mp\infty\), alegem puncte de continuitate \(a<b\) cu \(F(a)<\varepsilon\) și \(1-F(b)<\varepsilon\).
Pasul 2. Pe compactul \([a,b]\), \(\varphi\) este uniform continuă: există \(\delta>0\) cu \(|\varphi(u)-\varphi(v)|\le\varepsilon\) pentru \(u,v\in[a,b]\), \(|u-v|\le\delta\). Alegem puncte de continuitate ale lui \(F\), \(a=x_0<x_1<\dots<x_m=b\), cu \(x_i-x_{i-1}\le\delta\) (posibil, din densitate), și definim funcția în scară \[
\psi=\sum_{i=1}^m\varphi(x_i)\,\Ind_{(x_{i-1},x_i]} .
\] Pentru \(u\in(x_{i-1},x_i]\), \(|\varphi(u)-\psi(u)|=|\varphi(u)-\varphi(x_i)|\le\varepsilon\); pentru \(u\notin(a,b]\), \(\psi(u)=0\) și \(|\varphi(u)-\psi(u)|\le K\). Deci \(|\varphi-\psi|\le\varepsilon+K\,\Ind_{\R\setminus(a,b]}\) și, pentru orice v.a. \(V\), din monotonia și liniaritatea mediei, \[
\big|\E\varphi(V)-\E\psi(V)\big|\le\E\big|\varphi(V)-\psi(V)\big|\le\varepsilon+K\,\PP\big(V\notin(a,b]\big)=\varepsilon+K\big(F_V(a)+1-F_V(b)\big).
\]
Pasul 3. Din liniaritatea mediei și Propoziția 14(a), \(\E\psi(V)=\sum_{i=1}^m\varphi(x_i)\big(F_V(x_i)-F_V(x_{i-1})\big)\). Toate punctele \(x_i\) fiind puncte de continuitate ale lui \(F\), din (a) rezultă \[
\E\psi(X_n)=\sum_{i=1}^m\varphi(x_i)\big(F_n(x_i)-F_n(x_{i-1})\big)\xrightarrow[n\to\infty]{}\sum_{i=1}^m\varphi(x_i)\big(F(x_i)-F(x_{i-1})\big)=\E\psi(X).
\]
Pasul 4. Din inegalitatea triunghiului și Pasul 2 (aplicat lui \(V=X_n\) și lui \(V=X\)), \[
\begin{aligned}
\big|\E\varphi(X_n)-\E\varphi(X)\big|&\le2\varepsilon+K\big(F_n(a)+1-F_n(b)\big)+K\big(F(a)+1-F(b)\big)\\
&\quad+\big|\E\psi(X_n)-\E\psi(X)\big| .
\end{aligned}
\] Când \(n\to\infty\), \(F_n(a)+1-F_n(b)\to F(a)+1-F(b)<2\varepsilon\), iar ultimul termen tinde la \(0\) (Pasul 3). Deci \(\limsup_n|\E\varphi(X_n)-\E\varphi(X)|\le2\varepsilon+4K\varepsilon\) pentru orice \(\varepsilon>0\), adică \(\E\varphi(X_n)\to\E\varphi(X)\).
(b) \(\Rightarrow\) (c). O funcție lipschitziană este continuă, deci (c) este un caz particular al lui (b).
(c) \(\Rightarrow\) (a). Fie \(x\) un punct de continuitate al lui \(F=F_X\) și \(\varepsilon>0\). Funcția „trapez” \[
\varphi^+(t)=\begin{cases}1,& t\le x,\\ 1-\dfrac{t-x}{\varepsilon},& x<t<x+\varepsilon,\\ 0,& t\ge x+\varepsilon,\end{cases}
\] este mărginită (\(0\le\varphi^+\le1\)) și lipschitziană (cu constanta \(1/\varepsilon\)), iar \(\Ind_{(-\infty,x]}\le\varphi^+\le\Ind_{(-\infty,x+\varepsilon]}\). La fel, \(\varphi^-(t)=\varphi^+(t+\varepsilon)\) este mărginită și lipschitziană, cu \(\Ind_{(-\infty,x-\varepsilon]}\le\varphi^-\le\Ind_{(-\infty,x]}\). Din monotonia mediei, \(\E[\Ind_{(-\infty,y]}(V)]=F_V(y)\) și (c), \[
\begin{aligned}
\limsup_nF_{X_n}(x)&\le\lim_n\E\varphi^+(X_n)=\E\varphi^+(X)\le F(x+\varepsilon),\\
\liminf_nF_{X_n}(x)&\ge\lim_n\E\varphi^-(X_n)=\E\varphi^-(X)\ge F(x-\varepsilon).
\end{aligned}
\] Făcând \(\varepsilon\searrow0\), ambele margini tind la \(F(x)\) (continuitatea lui \(F\) în \(x\)), deci \(F_{X_n}(x)\to F(x)\).■
Demonstrația teoremei aplicațiilor continue, punctul (c), pentru variabile aleatoare reale. Fie \(X_n\dto X\) v.a. reale și \(g\) boreliană, cu \(\PP(X\in D_g)=0\); arătăm că \(g(X_n)\dto g(X)\) (Teorema 57(c)). Ideea demonstrației. Pentru \(g\) continuă folosim descrierea convergenței în repartiție prin medii de funcții continue și mărginite, care se păstrează la compunerea cu \(g\). În cazul general folosim o altă descriere, prin probabilitățile mulțimilor închise, care se transportă prin \(g\) în afara mulțimii neglijabile \(D_g\).
Cazul \(g\) continuă. Dacă \(\varphi\) este continuă și mărginită, atunci și \(\varphi\circ g\) este continuă și mărginită, deci, din Teorema 70 ((a) \(\Rightarrow\) (b)) aplicată șirului \((X_n)\), \(\E[\varphi(g(X_n))]\to\E[\varphi(g(X))]\). Aceasta este afirmația (b) pentru șirul \(g(X_n)\) și limita \(g(X)\); din (b) \(\Rightarrow\) (a), \(g(X_n)\dto g(X)\). (Același argument, cu (b) ca definiție, arată că \(g(\bX_n)\dto g(\bX)\) pentru vectori aleatori \(\bX_n\dto\bX\) și \(g\) continuă.)
Cazul general (\(g\) boreliană, \(\PP(X\in D_g)=0\)). Folosim încă o caracterizare a convergenței în repartiție.
Pasul 1 (mulțimi închise).Dacă \(X_n\dto X\) și \(C\subseteq\R\) este închisă, atunci \(\limsup_n\PP(X_n\in C)\le\PP(X\in C)\). Pentru \(C=\emptyset\) afirmația este banală; fie \(C\ne\emptyset\) și \(d(t,C)=\inf\{|t-u|:u\in C\}\) distanța de la \(t\) la \(C\). Funcția \(t\mapsto d(t,C)\) este lipschitziană cu constanta \(1\) (din \(|t-u|\le|t-t'|+|t'-u|\), luând infimumul după \(u\in C\), \(d(t,C)\le|t-t'|+d(t',C)\)) și, \(C\) fiind închisă, \(d(t,C)=0\) dacă și numai dacă \(t\in C\). Pentru \(k\ge1\), funcția \(\varphi_k(t)=\max\big(0,1-k\,d(t,C)\big)\) este mărginită (\(0\le\varphi_k\le1\)), lipschitziană (cu constanta \(k\)), egală cu \(1\) pe \(C\), iar pentru \(t\notin C\), \(\varphi_k(t)=0\) de îndată ce \(k\ge1/d(t,C)\); deci \(\Ind_C\le\varphi_k\) și \(\varphi_k(t)\to\Ind_C(t)\) pentru orice \(t\). Din monotonia mediei și Teorema 70(c), pentru fiecare \(k\), \[
\limsup_n\PP(X_n\in C)\le\lim_n\E\varphi_k(X_n)=\E\varphi_k(X) ,
\] iar din convergența dominată (majoranta constantă \(1\)), \(\E\varphi_k(X)\to\E[\Ind_C(X)]=\PP(X\in C)\) când \(k\to\infty\).
Pasul 2 (transportul prin \(g\)). Fie \(C\subseteq\R\) închisă, \(A=g^{-1}(C)\) și \(\bar A\) închiderea lui \(A\). Atunci \(\bar A\subseteq A\cup D_g\): dacă \(t\in\bar A\), există \(t_j\in A\) cu \(t_j\to t\); dacă \(g\) este continuă în \(t\), atunci \(g(t_j)\to g(t)\), iar cum \(g(t_j)\in C\) și \(C\) este închisă, \(g(t)\in C\), adică \(t\in A\); altfel \(t\in D_g\). Din Pasul 1, aplicat mulțimii închise \(\bar A\), și din \(\PP(X\in D_g)=0\), \[
\begin{aligned}
\limsup_n\PP\big(g(X_n)\in C\big)&=\limsup_n\PP(X_n\in A)\le\limsup_n\PP(X_n\in\bar A)\le\PP(X\in\bar A)\\
&\le\PP(X\in A)+\PP(X\in D_g)=\PP\big(g(X)\in C\big).
\end{aligned}
\]
Pasul 3 (revenirea la funcțiile de repartiție). Fie \(Y_n=g(X_n)\), \(Y=g(X)\) și \(y\) un punct de continuitate al lui \(F_Y\). Cu \(C=(-\infty,y]\), Pasul 2 dă \(\limsup_nF_{Y_n}(y)\le F_Y(y)\). Cu \(C=[y,\infty)\), \(\limsup_n\PP(Y_n\ge y)\le\PP(Y\ge y)\), adică, trecând la complementare, \(\liminf_n\PP(Y_n<y)\ge\PP(Y<y)=F_Y(y)\) (deoarece \(\PP(Y=y)=0\)); cum \(F_{Y_n}(y)\ge\PP(Y_n<y)\), rezultă \(\liminf_nF_{Y_n}(y)\ge F_Y(y)\). Deci \(F_{Y_n}(y)\to F_Y(y)\), adică \(g(X_n)\dto g(X)\).■
Demonstrația lemei lui Slutsky, punctul (d). Fie \(X_n\dto X\), \(Y_n\pto c\) și \(h:\R^2\to\R\) continuă; arătăm că \(h(X_n,Y_n)\dto h(X,c)\) (Teorema 58(d)).
Pasul 1. Funcția \(x\mapsto h(x,c)\) este continuă, deci, din Teorema 57(c) (cazul \(g\) continuă, demonstrat mai sus), \(h(X_n,c)\dto h(X,c)\).
Pasul 2. Arătăm că \(R_n:=h(X_n,Y_n)-h(X_n,c)\pto0\). Fie \(\varepsilon,\eta>0\) și \(M>0\), \(n_0\) cu \(\PP(|X_n|>M)<\eta\) pentru \(n\ge n_0\) (Pasul 1 din demonstrația Teoremei 58). Pe compactul \([-M,M]\times[c-1,c+1]\), \(h\) este uniform continuă: există \(\delta\in(0,1]\) cu \(|h(x,y)-h(x,c)|\le\varepsilon\) pentru \(|x|\le M\) și \(|y-c|\le\delta\). Deci \(\{|R_n|>\varepsilon\}\subseteq\{|X_n|>M\}\cup\{|Y_n-c|>\delta\}\) și, pentru \(n\ge n_0\), \[
\PP(|R_n|>\varepsilon)\le\PP(|X_n|>M)+\PP(|Y_n-c|>\delta)<\eta+\PP(|Y_n-c|>\delta)\xrightarrow[n\to\infty]{}\eta ,
\] iar \(\eta>0\) este arbitrar.
Pasul 3. Din Teorema 58(a), aplicată șirurilor \(h(X_n,c)\dto h(X,c)\) și \(R_n\pto0\), \(h(X_n,Y_n)=h(X_n,c)+R_n\dto h(X,c)\). (Afirmațiile (a) și (b) ale lemei corespund funcțiilor \(h(x,y)=x+y\) și \(h(x,y)=xy\).)■
Bibliografie
Billingsley, Patrick. 1995. Probability and Measure. 3rd ed. Wiley.
Casella, George, and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
Durrett, Rick. 2019. Probability: Theory and Examples. 5th ed. Cambridge University Press.
Hogg, Robert V., Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
Jacod, Jean, and Philip Protter. 2004. Probability Essentials. 2nd ed. Springer.